ChatGPTと高度なプロンプトエンジニアリング：AIの進化を推進する
ChatGPTの高度なプロンプトエンジニアリング：AIの進化を推進
OpenAIは、OpenAI Gymというトレーニング強化学習アルゴリズム用の革新的なツールや、GPT-nモデルなどの革新的なツールの開発に大きな役割を果たしてきました。DALL-EというAIモデルも注目を集めており、このモデルはテキスト入力から画像を作成します。その中でも特に注目されているモデルの一つがOpenAIのChatGPTであり、これは大規模な言語モデルの領域で輝く模範的な存在です。
GPT-4：プロンプトエンジニアリング
ChatGPTは、チャットボットの世界を変え、ユーザーの入力に対して人間のような応答を提供し、ソフトウェア開発やテストからビジネスコミュニケーション、詩作まで、さまざまな領域に応用されるようになりました。
企業や個人の手によって、GPT-4は知識の宝庫として活用されることがあります。数学や生物学から法学まで、さまざまな科目に精通しています。このような高度でアクセス可能なAIモデルは、仕事や学習、創造性の未来を再定義する可能性を秘めています。
GPT-4のような生成モデルは、既存の入力に基づいて新しいデータを生成することができます。この特徴により、テキスト、画像、音楽、ビデオなど、さまざまなタスクを遂行することができます。
ChatGPTやOpenAIモデルの文脈では、プロンプトとは、通常テキストの形式でユーザーがモデルに提供する入力のことを指します。プロンプトは、これらのモデルが生成する出力を制御するための主要な手段となり、成功した有益な会話において重要な役割を果たします。
プロンプトの品質の影響
明確に定義されたプロンプトを使用することは、AIシステムとの有益で意味のある会話を行うための鍵です。定義の曖昧なプロンプトは、ユーザーにとって有益でない出力を生成し、誤解を招く可能性さえあります。
プロンプトの品質の影響を示すために、ChatGPTに与えられる2つの異なるプロンプトを比較してみましょう。最初のプロンプトは定義が不十分で、事前の知識を前提としています。このようなプロンプトでは、ユーザーにとって役に立たない応答が生成される可能性があります。一方、2つ目のプロンプトはより多くの文脈と例を提供しており、より関連性のある理解しやすい応答を保証しています。
プロンプト1：「畳み込みニューラルネットワークについて教えてください。」
応答1：「畳み込みニューラルネットワーク（CNN）は、完全に連結された層とプーリング層から成る多層パーセプトロンネットワークです。これらは画像認識のタスクでよく使用されます。プロセスでは、入力画像にフィルタを適用し、プーリング層を使用して画像をダウンスケーリングします。」
プロンプト2：「畳み込みニューラルネットワークについて学びたいのですが、人工ニューラルネットワークの事前の知識はありません。CNNが画像認識でどのように使用されるか、初心者にもわかりやすく説明と例を教えていただけますか？」
応答2：「畳み込みニューラルネットワーク（CNN）は、主に画像認識のタスクに使用されるニューラルネットワークの一種です。他のニューラルネットワークとは異なり、畳み込み層とプーリング層を利用して画像を処理します。猫の画像を想像してみてください。CNNは、フィルタを適用し、プーリング層を使用して髭や耳、尾などの異なる特徴を識別することができます。このプロセスにより、CNNは画像内のオブジェクトを認識するのに非常に効果的です。」
2つの応答を比較することで、明確に定義されたプロンプトがより関連性のあるユーザーフレンドリーな応答につながることがわかります。ChatGPTなどのAIモデルの出力品質を最適化するためのプロンプトの設計とエンジニアリングは、ますます重要な学問分野となっています。
この記事の以下のセクションでは、プロンプトエンジニアリング技術や戦術など、大規模言語モデル（LLM）を洗練するための高度な手法について詳しく説明します。これにはfew-shot学習、ReAct、chain-of-thought、RAGなどが含まれます。
高度なエンジニアリング技術
進む前に、LLMにおける重要な問題である「幻覚」と呼ばれる課題を理解することが重要です。LLMの文脈での「幻覚」とは、モデルが合理的に思える出力を生成する傾向を指しますが、それが事実に基づかず、与えられた文脈にも根拠がありません。
この問題は最近の法廷で浮き彫りになりました。弁護士が法的な調査のためにChatGPTを使用した際に、このAIツールは幻覚の問題で苦しんでおり、存在しない法的事例を引用しました。このミスステップは重大な影響をもたらし、法廷での混乱を引き起こし、信頼性を損ないました。この出来事は、AIシステムにおける「幻覚」の問題に対処する緊急の必要性を示す鮮明な警告となっています。
私たちのプロンプトエンジニアリング技術の探究は、LLMのこれらの側面を改善することを目指しています。効率性と安全性を向上させることで、情報抽出などの革新的なアプリケーションの可能性を広げると同時に、外部ツールやデータソースとのシームレスな統合を可能にします。
ゼロとフューショット学習: 例を使った最適化
ジェネレーティブプリトレーニングトランスフォーマー（GPT-3）は、ジェネレーティブAIモデルの開発において重要な転換点を示しました。それは「フューショット学習」という概念を導入したことにより、ゲームチェンジャーとなりました。この方法は、包括的なファインチューニングの必要がないまま、効果的に機能する能力を持っているためです。GPT-3フレームワークについては、「言語モデルはフューショット学習者である」という論文で詳しく説明されており、著者たちは、カスタムのデータセットやコードを必要とせずに、モデルがさまざまなユースケースで優れたパフォーマンスを発揮することを示しています。
フューショットモデルは、さまざまなアプリケーションに対してより簡単に適応することができますので、ファインチューニングがさまざまなユースケースで堅牢な解決策を提供する場合でも、規模拡大においては高コストになる可能性があります。特にプロンプトエンジニアリングと統合した場合には、フューショットモデルの使用がより実用的なアプローチになります。
英語からフランス語への翻訳を試みると想像してみてください。フューショット学習では、「海のカワウソ -> loutre de mer」というようないくつかの翻訳例をGPT-3に提供します。GPT-3は、高度なモデルであるため、正確な翻訳を続けることができます。ゼロショット学習では、例を提供せずにもGPT-3は効果的に英語からフランス語への翻訳を行うことができます。
「フューショット学習」という用語は、モデルに「学習」のための限られた数の例が与えられるというアイデアに由来しています。この文脈では、「学習」という言葉はモデルのパラメータや重みを更新することではなく、モデルのパフォーマンスに影響を与えることを意味します。
GPT-3の論文で示されたフューショット学習の例
ゼロショット学習はこの概念をさらに進めたものです。ゼロショット学習では、モデルにタスクの完了の例を提供しません。モデルは初期のトレーニングに基づいてうまく機能することが期待されるため、ChatGPTなどのオープンドメインの質問応答シナリオに最適な方法です。
多くの場合、ゼロショット学習に優れたモデルは、フューショットやシングルショットの例が提供された場合にも良いパフォーマンスを発揮することができます。このような大規模モデルのゼロ、シングル、フューショット学習のシナリオ間を切り替える能力は、異なるドメインでの潜在的な応用範囲を広げるため、これらのモデルの適応性を強調しています。
ゼロショット学習の手法はますます広まっています。これらの手法は、トレーニング中に見たことのないオブジェクトを認識する能力を持っています。以下は、フューショットプロンプトの実践的な例です：
"次の英語のフレーズをフランス語に翻訳してください：
'sea otter' の翻訳は 'loutre de mer' 'sky' の翻訳は 'ciel' 'cloud' のフランス語での翻訳は何ですか？'"
いくつかの例をモデルに提供し、質問を投げかけることで、目的の出力を生成するためにモデルを効果的に誘導することができます。この場合、GPT-3はおそらく「cloud」をフランス語で「nuage」と正しく翻訳するでしょう。
推論中のモデルのパフォーマンスを最適化するために、プロンプトエンジニアリングのさまざまなニュアンスにより深く踏み込んでいきます。また、さまざまなユースケースにおいて費用対効果の高いスケーラブルなソリューションを作成するために、どのように効果的に使用することができるかも見ていきます。
LLMのプロンプトエンジニアリングの複雑さをさらに探求するにつれて、前回の記事「ChatGPTにおけるプロンプトエンジニアリングの必須ガイド」を強調することが重要です。このガイドでは、さまざまなユースケースに効果的にAIモデルを指示するための戦略について洞察を提供しています。
以前の議論では、ゼロショットとフューショット学習、および指示プロンプトなど、大規模言語モデル（LLM）の基本的なプロンプト手法について詳しく説明しました。これらの技術をマスターすることは、ここで探求するプロンプトエンジニアリングのより複雑な課題に対処するために重要です。
フューショット学習は、ほとんどのLLMの制約されたコンテキストウィンドウのために制限されている場合があります。さらに、適切な保護策がない場合、LLMは潜在的に有害な出力を提供する可能性があります。また、多くのモデルは推論タスクや複数のステップの指示に苦労することがあります。
これらの制約を踏まえると、複雑なタスクに取り組むためにLLMを活用することが課題となります。明らかな解決策は、より高度なLLMの開発や既存のモデルの改良ですが、それにはかなりの努力が必要になる可能性があります。では、現在のモデルを問題解決の向上に最適化するにはどうすればよいでしょうか？
同様に魅力的なのは、Unite AIの「AIアートのマスタリング：中間到達点とプロンプトエンジニアリングの簡潔なガイド」という創造的なアプリケーションとの接点です。この本では、アートとAIの融合が感動的なアートの創造につながると説明されています。
思考連鎖のプロンプティング
思考連鎖のプロンプティングは、大規模言語モデル（LLM）の内在的な自己回帰特性を利用しています。これらのモデルは与えられたシーケンスで次の単語を予測することに優れています。モデルに思考プロセスを明確にするよう促すことで、より徹底的で方法的なアイデアの生成が誘発されます。これにより、正確な情報に密接に一致する傾向があります。この一致は、モデルが情報を考えられた順序で処理し伝える傾向があることに起因しており、これは複雑な概念をリスナーに案内する人間の専門家のようなものです。単純な文言「ステップバイステップで教えてください」といったものでも、より冗長で詳細な出力を誘発することができます。
ゼロショット思考連鎖のプロンプティング
従来の思考連鎖のプロンプティングではデモンストレーションでの事前トレーニングが必要ですが、新興の分野であるゼロショット思考連鎖のプロンプティングが存在します。このアプローチは、小嶋らによって導入され、元のプロンプトに「ステップバイステップで考えましょう」というフレーズを巧妙に追加しています。
AIとNLPの研究論文からのキーポイントの要約をChatGPTに依頼する洗練されたプロンプトを作成しましょう。
このデモンストレーションでは、モデルが学術テキストから複雑な情報を理解し要約する能力を活用します。フューショット学習アプローチを使用して、ChatGPTにAIとNLPの研究論文からのキーポイントを要約することを教えましょう。
1. 論文タイトル: "Attention Is All You Need" キーポイント: transformerモデルを導入し、シーケンス変換タスクにおいて再帰レイヤーよりも注意メカニズムの重要性を強調しました。
2. 論文タイトル: "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" キーポイント: BERTを導入し、事前トレーニングされた深層双方向モデルの有効性を示し、さまざまなNLPタスクで最先端の結果を実現しました。
これらの例の文脈を持って、以下の論文のキーポイントを要約してください：
論文タイトル: "Prompt Engineering in Large Language Models: An Examination"
このプロンプトは明確な思考の連鎖を維持するだけでなく、フューショット学習アプローチを活用してモデルをガイドします。AIとNLPの領域に焦点を当て、研究論文の要約と関連する複雑な操作をChatGPTに課します。
ReActプロンプト
React（Reason and Act）は、Googleが「ReAct: Synergizing Reasoning and Acting in Language Models」という論文で導入され、言語モデルがタスクと対話的に相互作用する方法を革新しました。この手法では、モデルに対して言語的な推論トレースとタスク固有のアクションを動的に生成するよう促します。
キッチンでの人間のシェフを想像してみてください。彼らは（野菜を切ったり、湯を沸かしたり、材料をかき混ぜたり）一連のアクションを行うだけでなく、口頭での推論や内的な対話（「野菜が刻まれたので、鍋をコンロに乗せるべきだ」）も行います。この持続的な心の対話は、プロセスの戦略立案、急な変化への適応（「オリーブオイルがなくなったので、代わりにバターを使おう」）、タスクの順序の記憶に役立ちます。Reactはこの人間の能力を模倣し、モデルが新しいタスクを迅速に学習し、新しいまたは不確かな状況下で堅牢な決定を行うことができるようにします。
Reactは、思考連鎖（Chain-of-Thought、CoT）システムの一般的な問題である幻想に取り組むことができます。CoTは効果的な技術ですが、外部世界との相互作用に欠けているため、事実の幻覚やエラーの伝播が発生する可能性があります。一方、Reactは外部情報源とのインターフェースを提供することでこれを補償します。この相互作用により、システムは推論を検証するだけでなく、外部世界からの最新情報に基づいて知識を更新することができます。
Reactの基本的な動作は、高次の推論を必要とするHotpotQAのインスタンスを通じて説明することができます。Reactモデルは質問を受け取ると、質問を処理可能な部分に分解し、行動計画を作成します。モデルは推論のトレース（思考）を生成し、関連するアクションを特定します。Apple Remoteに関する情報をWikipediaなどの外部ソースで調べることを決定し（アクション）、得られた情報に基づいて理解を更新します（観察）。思考-アクション-観察の複数のステップを通じて、Reactは推論をサポートするための情報を取得し、次に何を取得する必要があるかを洗練させることができます。
注意:
HotpotQAは、ウィキペディアから派生したデータセットで、複数の文書を理解して回答するため、AIシステムを複雑な推論に訓練するために設計された113,000の質問と回答のペアで構成されています。一方、CommonsenseQA 2.0は、ゲーミフィケーションを通じて構築され、14,343のYes/Noの質問を含み、AIの常識理解に挑戦するために意図的に作成された質問が含まれています。
プロセスは次のようになる可能性があります:
- 思考:「Apple Remoteと互換性のあるデバイスを検索する必要がある。」
- 行動:「外部のソースで『Apple Remote互換デバイス』を検索します。」
- 観察:「検索結果からApple Remoteと互換性のあるデバイスのリストを取得します。」
- 思考:「検索結果に基づいて、Apple Remote以外のいくつかのデバイスが、元々のプログラムと連携するために設計されたプログラムを制御できることがわかります。」
その結果、情報との相互作用に基づいて進化する動的な推論ベースのプロセスが生まれ、より正確で信頼性の高い回答が得られます。
HotpotQAとAlfWorldを解決するための4つのプロンプティング手法（標準、Chain-of-Thought、Act-Only、およびReAct）の比較的視覚化（https://arxiv.org/pdf/2210.03629.pdf）
Reactエージェントの設計は、複雑な目標を達成する能力を持つため、専門的なタスクです。たとえば、Reactモデルを基に構築された会話エージェントは、会話メモリを組み込んで豊かな対話を提供します。ただし、このタスクの複雑さは、Langchainなどのツールによって簡略化されており、これらのエージェントの設計の標準となっています。
コンテキストに忠実なプロンプティング
『大規模言語モデルのコンテキストに忠実なプロンプティング』という論文は、LLM（大規模言語モデル）が知識に基づくNLPタスクで大きな成功を収めている一方で、文脈に依存したタスクでは過剰なパラメータ化された知識に頼りすぎることが、誤った回答を生むことがあると強調しています。たとえば、古い事実に基づいて言語モデルが訓練された場合、文脈の手がかりを見落としていると、正しくない回答を出力する可能性があります。
この問題は、知識の衝突が発生する場合に明らかになります。文脈にはLLMの事前知識と異なる事実が含まれている場合を考えてみましょう。例えば、2022年ワールドカップ前にデータでプライムされた大規模言語モデル（LLM）に、フランスがトーナメントに勝ったことを示す文脈が与えられた場合、LLMは事前知識に頼り、2018年ワールドカップの前回優勝チームがまだ現役であると主張し続けます。これは典型的な「知識の衝突」の例です。
LLMの知識の衝突は、新しい情報が文脈で提供された場合に、モデルが訓練された事前の知識に頼る傾向が、正しい出力をすることができなくなることから生じます。一方、LLMの幻想は、モデルの訓練データや提供された文脈に根拠がないが、信じられるように見える応答の生成です。
さらに、提供された文脈に十分な情報がない場合、正確に質問に答えることができない状況である「棄権付き予測」という状況も問題となります。たとえば、Microsoftの創設者について尋ねる質問が、この情報を提供しない文脈に基づいてLLMにされた場合、適切に棄権する必要があります。
より多くの知識の衝突と棄権の力の例
これらのシナリオでLLMのコンテキストの忠実性を向上させるために、研究者たちはさまざまなプロンプティング戦略を提案しています。これらの戦略は、LLMの応答をコンテキストに合わせることを目指しており、エンコードされた知識に頼るのではなく、よりコンテキストに注意を向けるようにします。
そのような戦略の1つは、プロンプトを意見に基づく質問としてフレーム化することです。ここでは、文脈をナレーターの発言と解釈し、質問はこのナレーターの意見に関連します。このアプローチにより、LLMの注意が既存の知識に頼るのではなく、提示された文脈に向けられるようになります。
プロンプトに対して反事実的なデモンストレーションを追加することも、知識の衝突の場合に忠実性を高める効果的な方法として特定されています。これらのデモンストレーションは、誤った事実を含むシナリオを提示し、モデルが正確な応答を提供するために文脈により注意を向けるように導きます。
命令の微調整
命令の微調整は、モデルに特定の命令を提供することによって利益を得る教師あり学習のフェーズです。例えば、「日の出と日の入りの違いを説明してください」といった具体的な指示がモデルに与えられます。その指示に適切な回答がペアになります。例えば、「日の出は朝に太陽が地平線の上に現れる瞬間を指し、日の入りは夕方に太陽が地平線の下に消える時点を示します」といった内容です。この方法により、モデルは基本的に指示に従い、実行する方法を学習します。
このアプローチは、LLMのプロンプトのプロセスに大きな影響を与え、プロンプトのスタイルに革命的な変化をもたらします。命令の微調整を行ったLLMは、ゼロショットタスクを即座に実行することができ、シームレスなタスクパフォーマンスを提供します。LLMがまだ微調整されていない場合、いくつかの例をプロンプトに組み込み、モデルを目的の応答に誘導するためのフューショット学習アプローチが必要になる場合があります。
「GPT-4を使用した命令チューニング」では、GPT-4を使用してLLMの微調整のための命令に従ったデータの生成を試みた研究について説明されています。彼らは、英語と中国語の両方で52,000の独自の命令に従ったエントリからなる豊富なデータセットを使用しました。
データセットは、LLaMAモデルの命令チューニングにおいて重要な役割を果たし、新しいタスクにおけるゼロショットパフォーマンスを向上させます。Stanford Alpacaなどの注目すべきプロジェクトでは、Self-Instructチューニングを効果的に活用し、高度に微調整された教師モデルによって生成されたデータを活用して、LLMを人間の意図に合わせる効率的な方法を利用しています。
命令チューニングの研究の主な目的は、LLMのゼロショットおよびフューショットの汎化能力を向上させることです。さらなるデータとモデルのスケーリングは貴重な洞察を提供する可能性があります。現在のGPT-4のデータサイズは52Kで、基本的なLLaMAモデルのパラメータサイズは70億です。これにより、より優れたパフォーマンスを持つ大規模なLLaMAモデルのトレーニングのために、より多くのGPT-4命令に従ったデータを収集し、他のデータソースと組み合わせる可能性があります。
STaR: 推論のブートストラップによる推論
LLMの潜在能力は、数学や常識的な質問応答などの複雑な推論タスクにおいて特に顕著です。ただし、言語モデルに合理的な根拠（ステップバイステップの正当化または「考えの連鎖」）を生成させるプロセスには、一定の課題があります。大規模な合理性データセットの構築が必要な場合や、フューショット推論に依存するために精度を犠牲にする必要がある場合があります。
「セルフトータリーズナー（STaR）」は、これらの課題に対する革新的な解決策を提供します。STaRは、モデルの推論能力を継続的に改善するためのシンプルなループを利用します。この反復プロセスは、いくつかの合理的な例を使用して複数の質問に回答するための根拠を生成することから始まります。生成された回答が正しくない場合、モデルは再び根拠を生成し、今度は正しい回答を与えます。その後、正しい回答に結果がなったすべての根拠を用いてモデルを微調整し、プロセスを繰り返します。
STaRの手法は、微調整ループとCommonsenseQAデータセットでのサンプル根拠生成を示しています（https://arxiv.org/pdf/2203.14465.pdf）
具体的な例で説明すると、「小さな犬を運ぶのに何が使われるでしょうか？」という質問に対して、回答の選択肢がプールからバスケットまで幅広いものであるとします。STaRモデルは根拠を生成し、回答は小さな犬を運ぶことができるものでなければならないと特定し、物を保持するために設計されたバスケットが正しい回答であると結論付けます。
STaRのアプローチは、言語モデルの既存の推論能力を活用する点でユニークです。それは、合理性を自己生成し、磨き上げるプロセスを用いて、モデルの推論能力を反復的にブートストラップします。ただし、STaRのループには制約があります。モデルは、解決できない問題に対して直接のトレーニング信号を受け取らないため、トレーニングセット内の新しい問題を解決できない場合があります。この問題に対処するために、STaRでは合理化を導入しています。モデルが正しく回答できない各問題に対して、正しい回答をモデルに提供することで新しい合理性を生成し、モデルが逆推論を行えるようにします。
したがって、STaRは、モデルが独自の合理性を生成することを学びながら、ますます困難な問題を解決する能力を獲得することを可能にするスケーラブルなブートストラッピングメソッドです。STaRの適用は、算術、数学のワード問題、常識的な推論を含むタスクにおいて有望な結果を示しています。CommonsenseQAでは、STaRはフューショットのベースラインと直接的な回答予測を微調整したベースラインを改善し、30倍大きいモデルと同等のパフォーマンスを発揮しました。
タグ付きコンテキストプロンプト
「タグ付きコンテキストプロンプト」という概念は、入力内の特定の情報にタグを付けることで、AIモデルに追加のコンテキストレイヤーを提供することを中心に展開しています。これらのタグは、AIにとって道標のような役割を果たし、コンテキストを正確に解釈し、関連性のある事実に基づいた応答を生成するためにガイドします。
例えば、「チェス」という特定のトピックについて友達と会話していると想像してみてください。ある文を述べた後、それに「(出典：Wikipedia)」というような参照を付けます。このアプローチにより、この場合の友達であるAIモデルは情報の出典を正確に把握することができます。このアプローチは、幻覚のリスクや誤った事実の生成を減らすことで、AIの応答をより信頼性のあるものにすることを目指しています。
タグ付きコンテキストプロンプトの特徴的な側面は、AIモデルの「文脈的知能」を向上させる可能性があることです。例えば、この論文では、様々な主題に関する要約されたWikipedia記事や最近出版された書籍のセクションから抽出された多様な質問を使用して、これを実証しています。これらの質問にはタグが付けられており、情報の出典に関する追加の文脈をAIモデルに提供しています。
この追加のコンテキストレイヤーは、正確でありながら提供された文脈に沿った応答を生成する際に非常に有益であり、AIの出力をより信頼性のあるものにすることができます。
結論：有望な技術と将来の方向性についての展望
OpenAIのChatGPTは、大規模言語モデル（LLM）の未開拓の潜在能力を鮮やかな効率で複雑なタスクに取り組むことを示しています。few-shot learning、ReAct prompting、chain-of-thought、STaRなどの高度な技術により、これらの潜在能力をさまざまなアプリケーションに活用することが可能です。これらの手法の微妙なニュアンスを掘り下げることで、人間と機械の間でより豊かで安全な相互作用が提供されていることがわかります。
知識の衝突、パラメトリックな知識への過度の依存、幻覚の可能性などの課題にもかかわらず、適切なプロンプトエンジニアリングにより、これらのAIモデルは変革的なツールであることが証明されています。指示による微調整、文脈に忠実なプロンプト、外部データソースとの統合により、推論、学習、適応の能力がさらに向上します。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
