「LLMに対する連鎖思考の促進」
Promoting LLM's chain of thought
LLMとの「推論」のための実用的でシンプルなアプローチ
大規模言語モデル（LLM）の成功は、大量のテキストコーパスを用いた事前学習（言語モデリング目的）を通じて、デコーダー専用のトランスフォーマーモデルをトレーニングできることに由来しています。十分に大きなモデルを事前学習することで、LLMは非常に能力のある少数の学習者になります。つまり、わずかな正しい出力の例を含むテキストのプロンプトを作成し、LLMに正しい答えを生成させることで、さまざまな問題（例：翻訳、文の分類、要約など）を解決できるということです。
LLMの能力にもかかわらず、これらのモデルが一貫して解決に苦しむ問題もあります。特に、推論問題（例：算術または常識的な推論）は非常に難しいものです。この問題を解決するための最初の試みでは、さまざまな推論問題の解決策と説明の教師付きデータセットを用いて、LLMのファインチューニングとタスク固有の検証モジュールを試しました[3, 4]。しかし、最近の研究では、少数の学習を活用することでより簡単な解決策を見つけることができることがわかりました。
「この論文の目標は、言語モデルに思考の連鎖を生成する能力を与えることです – 問題の最終答えに至る一貫した中間推論ステップの連鎖です。」- [1]より引用
特に、連鎖思考（CoT）プロンプティング[1]は、少数の学習を通じて推論ベースのタスクでのLLMのパフォーマンスを向上させる最近提案された技術です。一般的なプロンプティング技術と同様に、CoTプロンプティングは、いくつかの推論問題の解決策の例をLLMのプロンプトに挿入します。そして、それぞれの例には、問題を解決するための中間推論ステップの連鎖がペアで付属します。LLMは、推論問題を解決する際に類似の連鎖思考を生成することを（少数の学習を通じて）学習します。このようなアプローチは最小限のデータ（つまり、プロンプティングのためのわずかな例）を使用し、タスク固有のファインチューニングを必要とせず、特に大規模なモデルにおいて推論ベースのベンチマークのLLMのパフォーマンスを大幅に向上させます。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
