高度なプロンプトエンジニアリング

Advanced prompt engineering

few-shot学習だけでは不十分な場合の対処法

大規模言語モデル（LLM）の普及により、私たちが問題を解決する方法は完全に変わりました。以前は、コンピュータを使用して任意のタスク（例：ドキュメントの再フォーマットや文の分類など）を解決するには、プログラム（つまり、プログラミング言語に従って正確に書かれた一連のコマンド）を作成する必要がありました。LLMを使用すると、そのような問題を解決するためには、テキストのプロンプト以上は必要ありません。例えば、以下に示すようなプロンプトを使用して、LLMに任意のドキュメントを再フォーマットさせることができます。

上記の例で示されているように、LLMの一般的なテキストからテキストへのフォーマットは、さまざまな問題を解決するのに非常に便利です。GPT-3 [18]の提案によって、十分に大きな言語モデルは、驚くほどの精度で多くのタスクをfew-shot学習を用いて解決できることが示されました。しかし、LLMに関する研究が進むにつれ、ゼロ/少数のショット学習のような基本的なプロンプト技術を超えて進んでいくことになりました。

InstructGPTやChatGPTなどの指示に従うLLMは、言語モデルが本当に困難なタスクを解決できるかどうかを探求することになりました。つまり、LLMをおもちゃの問題にとどまらずに実用的に役立つものにするためには、複雑な指示に従って多段階の推論を実行し、人間が提示する難しい質問に正確に答える能力が必要です。残念ながら、このような問題は基本的なプロンプト技術では解決できないことが多いです。LLMから複雑な問題解決の行動を引き出すためには、より洗練された手法が必要です。