『強化学習における大規模な行動空間を処理する5つの方法』

5 methods for handling large action spaces in reinforcement learning

アクション空間は、特に組み合わせ最適化問題では大きくなりすぎる可能性があります。この記事では、それらを処理するための5つの戦略について説明します。

大きなアクション空間を処理することは、強化学習においてまだ解決が難しい問題です。状態空間が大きい場合には、畳み込みネットワークやトランスフォーマーなどの最近の注目される例を使って、大きな進歩が見られます。しかし、次元の呪いとして知られるものが3つあります：状態、結果、そしてアクションです[1]。しかしながら、後者はまだ十分に研究されていません。

それにもかかわらず、大きなアクション空間を処理するための手法が増えてきています。この記事では、特に組み合わせ最適化問題でよく遭遇する高次元の離散的なアクション空間に焦点を当てながら、それらを処理する5つの方法を紹介します。

復習：次元の呪い3つ

次元の呪い3つについて簡単に復習しましょう。手元の問題をベルマン方程式の系として表現すると、評価する必要がある3つの集合があります。実際にはネストされたループの形で表現され、それぞれが非常に大きくなる可能性があります：

Reinforcement Learningは、全ての可能な結果を列挙する代わりに、ランダムな遷移をサンプリングするモンテカルロシミュレーションです。大数の法則により、サンプルの結果は最終的に真の値に収束するはずです。この方法により、確率的な問題を決定論的な問題に変換します：

• このNYUとGoogleの論文は、クロスモーダル表現におけるシーケンス長の不一致を克服するための共同音声テキストエンコーダの仕組みを説明しています
• 「機械に学習させ、そして彼らが私たちに再学習をさせる：AIの構築の再帰的性質」
• 『Photoshopを越えて：Inst-Inpaintが拡散モデルでオブジェクト除去を揺るがす』

この変換により、大きな結果空間を扱うことができます。大きな状態空間を扱うためには、以前に見たことのない状態にも一般化できる能力が必要です。一般的なアプローチは特徴抽出や集約であり、ここに研究の大部分が集中しています。

状態とアクションのペアに対応する単一の値を評価することができるため、数百から数千のアクションを評価することは問題ではないことが多いです。多くの問題（例：チェス、ビデオゲーム）ではこれで十分であり、アクションに関してさらなる近似をする必要はありません…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!