ディープマインドのこの機械学習研究は、動的な環境での高度な計画に対してベクトル量子化モデル（VQ）を導入しています

ディープマインドの最新研究：ベクトル量子化モデル（VQ）が進化させる高度な計画能力を持つ動的環境

技術の絶え間ない進歩により、人間の脳力を模倣することで、人間と同じように思考し学習することができるようになった人工知能（AI）が成功を収めています。人工知能、機械学習（ML）、ディープラーニングの最近の進展により、医療、金融、教育などの多くの分野が改善されています。最近注目を集めている大規模言語モデルは、人間の模倣能力に優れています。質問応答やテキスト要約からコード生成やコード補完まで、これらのモデルはあらゆるタスクで優れた性能を発揮します。

大規模言語モデル（LLMs）は、機械学習パラダイムである強化学習の概念を用いて微調整されます。強化学習では、エージェントは周囲との相互作用を通じて意思決定能力を身につけます。環境に対して時間の経過に伴う積み重ねられた報酬信号を最大化することを目指します。モデルベースの強化学習（RL）は最近進化し、計画を必要とするさまざまな状況で有望な結果を示しています。ただし、これらの成功例は、完全に観測可能で決定論的な状況に限定されています。

最新の研究では、DeepMindの研究チームがベクトル量子化モデルを使用した新しい計画戦略を提案しています。このアプローチは、確率的で部分的に観察可能な環境で問題を解決することを目的としています。この手法では、状態VQVAE（ベクトル量子化変分オートエンコーダ）および遷移モデルを使用して、将来の観測値を離散的な潜在変数にエンコードします。これにより、確率的または部分的に観測可能なコンテキストに関連付けられる、将来の観測値および将来の行動に対する計画が可能になります。

• 「GoogleとMITの研究者がStableRepを紹介：合成イメージによるAIトレーニングで機械学習を革新する」
• 「Microsoftの研究者がPIT（Permutation Invariant Transformation）を提案：動的まばらさのためのディープラーニングコンパイラ」
• ETH Zurichの研究者が、推論中に0.3%のニューロンしか使用しないが、同様のBERTモデルと同等の性能を発揮するUltraFastBERTを紹介しました

チームは、この手法で離散的なオートエンコーダを使用して、確率的な状況での行動のさまざまな可能な結果を捉えることができました。オートエンコーダは入力データを潜在的な表現にエンコードし、元の形式にデコードします。確率的なコンテキストにおけるエージェントの行動から生じる複数の代替的な結果の描写は、離散的なオートエンコーダの使用によって可能になりました。

チームは、この種のコンテキストで計画を容易にするために、モンテカルロツリーサーチの確率的なバージョンを使用しました。計画と意思決定プロセスでの意思決定を行うための人気のある手法の1つはモンテカルロツリーサーチです。この場合、確率的バリアントは環境の不確実性を考慮に入れることができます。エージェントの行動に加えて、環境の可能な応答を示す離散的な潜在変数が計画プロセスに組み込まれています。これにより、部分的な観測可能性と確率性によってもたらされる複雑さを捉える包括的な手法を実現しています。

チームは、この手法を評価し、確率的なチェスの解釈において、よく知られているRLシステムであるMuZeroのオフラインバリアントを上回ることを示しました。この視点では、対戦相手はシステムに不確実性をもたらし、周囲の重要な要素と見なされます。DeepMind Labによる効果的な実装により、提案された手法の拡張性が証明されました。このシナリオで観察された好ましい結果は、伝統的なボードゲームを超えた複雑でダイナミックなコンテキストの管理における手法の柔軟性と効果を示しています。

結論として、このモデルベースの強化学習技術は、部分的に観測可能な確率的な環境における完全に観測可能な決定論的な環境の効果を拡大します。不確実な環境での生じる困難を洞察するための離散的なオートエンコーダと確率的なモンテカルロツリーサーチのバージョンは、実用的なアプリケーションにおけるパフォーマンスの向上をもたらします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!