制約最適化とKKT条件

美容とファッションの制約最適化とKKT条件

ラグランジアン関数の洞察

最適化は、コンピュータサイエンス、物理学、数学、経済学の領域で普遍的に存在しています。AIおよび機械学習（ML）の専門家にとって、意思決定、経路計画、MLモデル（サポートベクターマシン（SVM）やニューラルネットワークなど）でのパラメータ学習など、様々なドメインで応用される重要なツールとして位置づけられています。最適化の最も一般的な形式は、独立変数に関して関数の最小値/最大値を見つけることであり、これは微分積分の基本的な概念を適用することで達成できます。数学的には、これらの極値では、関数の勾配（一次導関数）はゼロになり、これを「停留点」と呼びます。このような点が最大値または最小値を表すかどうかは、曲率（二次導関数）を評価することで判断されます。

さらに、最適化問題に制約条件を追加することで、関数を最適化する特定の領域を定義することができます。その結果、実数（または複素数）空間全体での関数の最大値と最小値を決定する代わりに、最適化はこの特定の領域に制限されます。従来の方法では、制約条件が設定する境界外にこれらの点が存在する可能性があるため、停留点を計算する従来のアプローチは解決策ではありません。今後のセクションでは、制約付き最適化問題の複雑さを分析し、それらの解決策のための戦略を探求します。

等式制約

等式制約を持つ最適化問題は次のような形をしています。

• 「LLM（法務修士）のプロンプトアーキテクチャについて話し始める時期ですか？」
• ノースウェスタン大学の研究者は、AIのエネルギー使用量を99％削減したオフグリッド医療データの分類のための画期的な機械学習フレームワークを提案しました
• GoogleシートのAI搭載ソリューション「スマートフィル」によるデータ処理の革新

ここで、f(x)は最小化を求める関数であり、制約条件g(x) = 0は最小化が行われるドメインを定義しています。これらの場合、最小化の焦点は、制約によって明示的に指定された特定の領域に自然に制約されます。ただし、以前に述べたように、制約を考慮に入れずに微分積分を適用して停留点を決定する従来の方法は不可能ですので、別のアプローチが必要です。

ラグランジアン関数

最小化問題であるため、従来の方法を適応させる1つのアプローチは、指定された領域の外側で関数の値に無限大を割り当てることです。これを実現するために、次の式で特徴付けられる新しい関数f'(x)を導入します。

この修正により、ドメインの外部で最小値が発生する可能性を排除し、最適点がドメイン内部に存在することが保証されます。その結果、制約付き最適化問題を制約のない最適化問題に再定式化することができます。

ただし、このアプローチには課題があります。ドメインの境界では関数f'(x)が微分不可能な急激な不連続性があるため、上記の問題を最適化するために微分積分を使用することは不可能です。ここでラグランジュ乗数法が重要な役割を果たします。関数f'(x)を（2）のように定義する代わりに、最大化問題として定式化します。

RHSの式はラグランジアン関数と呼ばれ、新しい変数𝞴がラグランジュ乗数です。（4）から明らかなように、{g(x)<0, g(x)>0}の領域では、𝞴は式を∞に最大化するための値を取ることができます。

したがって、最適化問題（3）の形式は次のようになります。

注意すべき点は、内部最大化が同じ非連続な関数を結果としても非微分性の問題が依然存在することです。しかし、ラグランジュ表現を用いれば、最大最小の不等式を最小最大の問題に変換してこの問題を解決することができます。

ここでは、まず独立変数xに関して最適化し、次にラグランジュ乗数𝞴に関して最適化します。

不等式制約

さて、制約が等式ではなく不等式である場合のシナリオを分析します。このような最適化問題は以下のような形式です：

同様のアプローチで解を求めることができます。制約によって定義される範囲内でf(x)と同じであり、それ以外の場所では無限大となるf’(x)を定義します：

その対応するラグランジュ関数は以下で定義されます：

不等式制約に対応するラグランジュ乗数は𝝻で表されます。式（9）は式（4）にはないラグランジュ乗数の制約も含まれていることが異なります。今、最適化問題（7）は以下の形式を取ります：

最小最大の不等式を適用すると、

KKT（カルーシュ-クーン-タッカー）条件

最適化問題（10）は双対版であり、（11）はその双対版です。最小最大不等式によれば、双対版は原問題を下限することを示しており、したがって2つのバージョンは必ずしも等しくありません。ただし、原点と双対点が等しい条件である正則性条件がある場合、以下のKKT条件を満たす必要があります：

1. 原点の可行性

これは問題定義から導かれます。

2. 双対点の可行性

デュアル適合性は (9) から導かれます。

3. 状態条件

これは興味深い特性です。 𝞴* がゼロまたは正であるため、状態条件は、最適点において f(x) と g(x) の勾配が反対方向を向いている必要があることを意味します。これに対する理論的根拠は次のとおりです：もし f(x) と g(x) の勾配が同じ方向に整列している場合、点 x = x* で両方の関数が勾配とは逆方向に同時に減少します。この場合、制約条件を破らずに f(x) が f(x*) の値を超えて続けて減少する可能性があります。その場合、x* は最適点としては資格を失います。したがって、点が最適点であるためには、状態条件を満たす必要があります。

4. 相補性スラック性

これは式 (9) から直接導かれるもう一つの興味深い特性です。制約 g(x*) < 0 の場合、ラグランジュ乗数 𝝻* はゼロと等しくなります。ラグランジュ乗数は関連する制約に対する解の感度を示すため、𝝻* = 0 の値は関連する制約が解を決定する上で影響を持たないことを意味します。つまり、制約を考慮するかしないかに関わらず、結果は変わりません。一つの具体的な例は、g(x) ≤ 0 の領域で f(x) がグローバルな最小値を持つ場合です。別の例として、関数 f(x) を次の制約条件のもとで最小化する場合を考えてみます： g¹(x) < 5 および g²(x) < -1。この場合、制約 g² に対応するラグランジュ乗数 𝝻²* はゼロです。なぜなら、g¹ が既に g² の条件をカバーしているため、g² は制約として重要ではなくなるからです。

応用: サポートベクターマシン（SVM）

機械学習における不等式制約を持つ制約最適化の例として、サポートベクターマシン（SVM）があります。2つのクラスを表す {(x¹, y¹), (x², y²), …} というデータポイントのデータセットが与えられた場合、目的はクラス間の余裕を最大化する分類器を特定することです。具体的には、SVM を次の最小化問題として定式化します：

式中の ||w|| は余裕の逆数を表しています。明らかなように、多くの不等式制約が存在します。しかし、実際には、分類器の境界に近いいくつかのデータポイントのみがソリューションに影響を与えます。これらのデータポイントはサポートベクターと呼ばれます。相補性スラック性で議論したように、サポートベクターに関連する制約に対応するラグランジュ乗数のみが非ゼロの値を持ちます。その他のデータポイントに対しては、関連する制約のラグランジュ乗数値はゼロであり、それによって分類器の境界を決定する上で無視されます。

結論

私たちは、制約の等式と不等式を組み込むために非制約最適化問題について簡単な紹介から始め、ラグランジュ関数が制約によって導入される課題を解決する方法について議論しました。ラグランジュ関数の最適性について探求した後、KKT 条件について理解を深めました。最後に、SVM が制約最適化問題としてどのように定式化され、その解について簡単に論じました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!