「このように考えて私に答えてください：このAIアプローチは、大規模な言語モデルをガイドするためにアクティブなプロンプティングを使用します」

このAIアプローチは、大規模な言語モデルをガイドするためにアクティブなプロンプティングを使用します

最近の数ヶ月で、ChatGPTの導入により私たちは大規模な言語モデル (LLM) によく馴染みました。それは私たちの日常生活で欠かせないツールとなりました。LLMは情報検索、チャットサポート、執筆補助などに有用です。

一般的に、LLMは強力な推論能力を持っており、与えられた情報に基づいて論理的な推論や演繹を行い、解決策にたどり着くことができます。彼らは推論を行い、結論を導き出し、情報の断片を論理的に結びつけることができます。例えば、「数列があるとします: 2, 4, 6, 8, 10, … 次の数は何ですか？」という質問に答えることができます。

推論タスクは、より単純な言語理解タスクよりも難しいとされており、より高いレベルの理解力と推論能力を必要とします。LLMはそれに長けていますが、複雑な推論タスクで優れたパフォーマンスを発揮するように求めると、事態は変わってきます。

• 「革新的な機械学習モデルにより、脱炭素化触媒の評価時間が数カ月から数ミリ秒に短縮されました」
• 「DAE Talking 高忠実度音声駆動の話し相手生成における拡散オートエンコーダー」
• 「FlexGenに会おう：GPUメモリが限られている場合に大規模な言語モデル（LLM）を実行するための高スループットな生成エンジン」

LLMを導く一つの方法は、文脈に即した学習です。これは、メインの要求を送る前に、LLMに実際に尋ねたい内容を教えるために、一連の質問と回答の例を与えるものです。例えば、「数列があるとします: 2, 4, 6, 8, 10, … 次の数は何ですか？」というプロンプトを「Q: 数列があるとします: 2, 4, 6, 8, 10, … 次の数は何ですか？ A: 各数は2ずつ増加するので、12です。Q: 数列があるとします: 3, 7, 11, … 次の数は何ですか？」と変更することができます。こうすることで、LLMは思考の連鎖 (CoT) を見ることができ、それに応じて適応することができます。

CoTプロンプティングによって、LLMに優れた推論能力を備えることが示されています。ただし、情報を選択し、CoTと回答でアノテーションするためには、人間のエンジニアリングに大いに依存することを覚えておいてください。提供する質問-回答の連鎖は、極めて重要です。

推論タスクの難易度、範囲、ドメインの多様性が考慮されると、どのタイプの質問がアノテーションに優先されるべきかは不確かです。また、特定の一連の例が求められた情報を取得するために最も効果的であるかどうかも不明です。一方で、重要な質問を特定できれば、それらにアノテーションを付けることは非常に簡単なタスクになります。問題は、どの質問を選ぶかということです。

ここで、「アクティブプロンプティング（Active Prompting）」が登場します。これは、不確実性を活用し、わずかな人間の努力を用いて一連の質問にアノテーションする問題への解決策を提案しています。

提案手法では、まず、LLMの予測間の不確実性を特徴づけるためにいくつかのメトリクスを導入します。これらの不確実性メトリクスは、最も不確実な質問をランク付けし、これらの質問をアノテーションの対象として選択します。そして、少数ショットのCoTまたはゼロショットのCoTアプローチを使用して、例の回答を生成します。

不確実性を推定するためには、異なる4つのアプローチが使用されます: 不一致度、エントロピー、分散、自信度。これらの戦略のそれぞれが不確実性の性質に対する独自の視点を提供しますが、不一致度とエントロピーの手法を利用することに主眼が置かれています。不一致度は、予測結果における一意の回答を計算するものです。一方、エントロピーが高いほど不確実性が高く、エントロピーが低いほど不確実性が低いことを示します。その結果、複雑な推論に関しては、比較的高いエントロピーを持つ質問が可能な選択肢として考慮される可能性が高いです。

提案手法はいくつかの推論タスクで評価され、その結果、正確性と効率性の面でベースライン手法を上回ることが示されています。論文ではまた、不確実性メトリクスの分析が提供され、それがモデルのパフォーマンスを改善するためにどのように使用できるかも示されています。

結論として、アクティブプロンプティングはCoTプロンプティングにおいて、どの質問が最も重要で役立つかを決定する問題に対する解決策です。それは不確実性を活用し、一連の質問にアノテーションするための人間の努力を最小限に抑えるように設計されています。提案手法はベースライン手法を上回り、LLMの推論タスクでのパフォーマンスを改善するために使用することができることが結果から示されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!