『プロンプトブリーダーの内部：Google DeepMindの新しい自己改善プロンプト技術』

『美容・ファッションのエキスパートによる鮮やかな記事：プロンプトブリーダーの内部観察からGoogle DeepMindの新しい自己改善プロンプト技術まで』

その方法は進化的アルゴリズムをプロンプト最適化と組み合わせて驚異的な結果を達成します。

私は最近、既に16万人以上の購読者を持つAIに焦点を当てた教育のニュースレターを始めました。TheSequenceは、ハイプやニュースなどがない、5分で読めるML指向のニュースレターです。その目標は、機械学習のプロジェクト、研究論文、概念について最新の情報を提供することです。以下の購読ボタンからぜひ試してみてください：

TheSequence | Jesus Rodriguez | Substack

機械学習、人工知能、データの進展について最新情報を得るための最高のソース…

thesequence.substack.com

推論とプロンプトの進化/最適化は、大規模な言語モデル（LLM）における次の重要なフロンティアとして認識されています。AutoGPTやBabyAGIのようなプロジェクトには、プロンプトを定期的に進化させて推論に近い方法で特定の目標を達成するという魅力的なものがあります。LLMの推論能力を向上させるために使用されるさまざまなストラテジーの中でも、Chain-of-Thought Promptingはその効果的な方法として称賛されています。ただし、手動で作成されたプロンプト戦略は、最適なパフォーマンスには到達しない傾向があることに注意する価値があります。

最近、Google DeepMindの研究者は、PROMPTBREEDERという自己改善型のプロンプトアルゴリズムを発表しました。このアルゴリズムは進化的手法を使用して、特定のタスクに対して最適なプロンプトを導き出します。PROMPTBREEDERは、CoTの制約をいくつか解消し、自己参照的な方法でプロンプトを改善します。

• Japanese AI規制- 仮定はありませんか？それとも何もしない？
• 「ひとつのAIモデルで全てのオーディオタスクをこなせるのか？UniAudioに出会ってください：新しいユニバーサルオーディオ生成システム」
• In Japanese 「GTE-tinyに会いましょう：ダウンストリームタスクのためのパワフルなテキスト埋め込み人工知能モデル」(GTE-tiny ni aimashou Daunsutori-mu tasuku no tame no pawafuru na tekisuto umekomi jōchū nō moeru) Note Please keep in mind that this translation is accurate, but it may be adjusted to fit

基盤となる概念

Google DeepMindによって開発されたPROMPTBREEDERの概念は、新興の研究分野からインスピレーションを受けています：

1. プロンプト戦略： Chain-of-Thought Prompting（CoT）は広く採用された手法として目立っています。これにより、LLMに対して少数のショットプロンプトを提供することで、算術、常識、および象徴的な推論の改善が実現されます。特にパワフルなLLMに対して効果があります。

2. 自己参照的な自己改善： 自己改善可能なオープンエンドシステムの作成と、自己の改善方法を向上させることは、AI研究における長年の課題となっています。この領域で人気のあるテクニックの一つは、内省的なニューラルネットワークにおける自己参照的な重み行列です。これにより、重みを変更することが可能となります。この概念のよりスケーラブルなバージョンは、2022年に入江らによって提案されています。

3. オープンエンデッドとLLM： PROMPTBREEDERは、LLMが例から変動を生成し、新規性を定量化する能力を持っているという考えに基づいています。他のシステムとは異なり、Promptbreederはプロンプトの領域を自律的に探索します。「データから学習」から「どのデータから学習するかを学習する」への移行を意味します。

さらに深く掘り下げる

PROMPTBREEDERはLLMにおける自己参照的な自己改善と考えることができます。Promptbreederの作業プロセスは以下のように要約されます：

1. タスクプロンプトの変異: PROMPTBREEDERは、タスクプロンプトの集団から始まり、それらに変異を加えることでさまざまなバリアントを生成します。

2. フィットネス評価： これらの変更されたタスクプロンプトの適合性は、トレーニングデータセットを使用して評価されます。LLMがこれらのプロンプトに効果的に応答するかどうかを測定します。

3. 継続的な進化： この変異と評価のプロセスは、生物学的進化に類似していくつかの世代にわたって反復されます。

問題の説明に直面し、一連の一般的な「思考スタイル」と突然変異促進が備わった状態で、PROMPTBREEDERはダイナミックなプロセスを開始します。このプロセスにより、進化的な単位の集団が生まれます。これらの単位は通常、2つのタスクプロンプトと1つの突然変異プロンプトで構成されています。

プロンプトの進化を追求するために、PROMPTBREEDERは2011年にハービーによって開発された、確立されたバイナリトーナメント遺伝アルゴリズムフレームワークを採用しています。タスクプロンプトの優位性を測定するため、そのパフォーマンスはトレーニングデータのランダムな選択に対して検証されます。

PROMPTBREEDERは複数の世代にわたって変容の旅に出ます。タスクプロンプトと突然変異プロンプトに変異を導入し、5つの異なるクラスの突然変異演算子を利用します。この進化の旅は、特定のドメインにより適応性が高いタスクプロンプトの出現を促し、同時に突然変異プロンプトを自己言及プロセスを通じて徐々に洗練させます。

PROMPTBREEDERは変異プロンプトのシードセット、思考スタイル、特定のドメインの問題の説明を活用して、タスクプロンプトと突然変異プロンプトを生成します。LLMは突然変異演算子として利用されます。複数の世代にわたって、PBはプロンプトが特定のドメインに適応する様子を観察し、数学、常識的な推論、算術、倫理などのさまざまな領域での効果を示しています。

一部の既存のプロンプト手法（Chain-of-Thoughtなど）とは異なり、PROMPTBREEDERは自己言及的な自己改善のためのパラメータの更新を必要としません。このアプローチは、より大きく能力の高いLLMがその利点をさらに増幅できる有望な未来を示唆しています。

PROMPTBREEDERの基盤は、LLMが入力テキストのバリエーションを生成できる能力に基づいています。タスクプロンプトは、LLMが後に入力を続ける際により良い応答をするために使用される文字列です。タスクプロンプトを評価するために、関連するドメインのトレーニングセットからのQ＆Aペアのバッチがサンプリングされます。Promptbreederは進化アルゴリズムを採用し、突然変異演算子は突然変異プロンプトに応じて制約のあるLLMです。

PROMPTBREEDERの興味深い側面の一つは、自己言及メカニズムです。このメタレベルのアルゴリズムは、突然変異プロンプトを進化させるためにハイパーミューテーションプロンプトに基づくLLMを活用します。このプロセスは、突然変異したタスクプロンプトの集団を初期化することから始まります。各進化の単位には、タスクプロンプトのセット、突然変異プロンプト、そして場合によっては正しい作業のセットが含まれます。

まとめると、PROMPTBREEDERは自己言及的な自己改善を通じて大規模言語モデルの能力を向上させる有望なアプローチを提案しています。そのポテンシャルは、自律的にプロンプトを進化させ、特定のドメインに適応し、定数のパラメータ更新が必要なく、より効率的で能力の高いLLMへの道を提供するという点にあります」。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!