「Google DeepMindの研究者たちは、PROmptingによる最適化（OPRO）を提案する：大規模言語モデルを最適化器として」

Google DeepMind researchers propose Optimization through PROmpting (OPRO) using large language models as optimizers.

人工知能の分野では、自然言語処理、自然言語生成、自然言語理解、およびコンピュータビジョンなどのサブフィールドがますます人気を集めています。最近注目を浴びている大規模言語モデル（LLM）は、最適化のための最適化器として使用されています。その能力は最適化手法の向上のために自然言語の理解に利用されています。最適化はさまざまな産業やコンテキストで実用的な意味を持っています。派生ベースの最適化手法は、さまざまな問題をうまく処理することが実証されています。

これには、グラデーションが現実的な状況では時々しか利用できない場合があるため、困難な問題が生じます。この問題に対処するために、Google DeepMindの研究者チームは、Optimisation by PROmpting (OPRO) と呼ばれる独自のアプローチを提案しました。LLMを最適化器として使用することで、OPROは直感的で非常に強力な技術を提供します。この場合、主な新しさは、最適化タスクを表現するために日常言語を使用することで、プロセスがより簡単でアプローチしやすくなることです。

OPROは、最適化問題の自然言語での説明を提供することから始まります。これにより、問題が複雑な数式ではなく簡単な言語で表現されるため、理解しやすくなります。次に、反復的な解生成が提供されます。LLMは、与えられた自然言語プロンプトに基づいて、各最適化ステップごとに新しい候補解を作成します。このプロンプトは重要であり、以前に作成された解とそれに関連する値の詳細を含んでいます。これらの従来のオプションは、さらなる開発の出発点として機能します。

• グーグルの研究者たちは、MEMORY-VQという新しいAIアプローチを提案していますこれにより、メモリ拡張モデルのストレージ要件を削減することができますが、パフォーマンスを犠牲にすることはありません
• マイクロソフトの研究者がPromptTTS 2を発表：声の変動性と費用対効果の向上によるテキスト読み上げの革新
• AIモデルが高解像度のコンピュータビジョンを高速化します

更新および評価された解が開発され、そのパフォーマンスまたは品質が評価されます。次の最適化ステップのプロンプトには、これらの解が検査された後に含まれます。反復プロセスが進むにつれて、解は徐々に改善されます。OPROの有効性を示すために、いくつかの実用的な例が使用されています。最初に、OPROは2つのよく知られた最適化問題、線形回帰問題と巡回セールスマン問題に取り組むために使用されました。これらの問題は顕著であり、手法の有効性を評価するための基準となります。OPROは、これらの問題に対して優れた解を見つける能力を示しました。

次に、OPROはプロンプトの最適化に使用されました。OPROは、特定の最適化問題に対処するだけでなく、プロンプト自体の最適化にも取り組んでいます。タスクの精度を向上させる指示を見つけることが目標です。特に自然言語処理を含むタスクでは、プロンプトの構造と内容が結果に大きな影響を与えることがあります。

チームは、OPROによって最適化されたプロンプトが一貫して人間が作成したものよりも優れていることを示しました。ある例では、OPROはBig-Bench Hardのワークロードのパフォーマンスを驚異的な50%向上させ、GSM8Kベンチマークでは最大8%向上させました。これは、OPROが最適化結果の改善において非常に大きな潜在能力を持っていることを示しています。

結論として、OPROは大規模言語モデルを利用した最適化の革新的な手法を提案しています。OPROは、最適化問題を通常の言語で説明し、解を繰り返し生成および改善することで、一般的な最適化問題の解決とプロンプトの改善において、従来の手法に比べて著しいパフォーマンスの向上を示しています。特に、グラデーション情報が利用できないか収集が困難な場合には、その効果が顕著です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!