信頼性のある世代をチェーンオブバーニケーションを通じて解放する 迅速なエンジニアリングの飛躍

「迅速なエンジニアリングの飛躍により、信頼性のある世代をチェーンオブバーニケーションを通じて解放する！」

 

主なポイント

 

• Chain-of-Thought（CoVe）プロンプトエンジニアリング方法は、LLMの空想を軽減し、正確で意味のある情報の生成をするために設計されています。
• CoVeは、LLMが応答を起案、検証、洗練するための4つのステッププロセスを通じて、正確さを高めるセルフ検証メカニズムを育むことで、精度を向上させます。
• CoVeは、リストベースの質問や長文テキスト生成など、さまざまなタスクで改善されたパフォーマンスを示し、AIによるテキストの空想を減らし、正確性を高める潜在力を示しています。

 

私たちは、言語モデルが自分の間違いを修正するために応答について熟考する能力を研究しています。

• 「ゼロからヒーローへ：AutoGenがLLMを変革する方法」
• NLPスーパーパワーを活用する：ステップバイステップのハグフェイスファインチューニングチュートリアル
• 統計的有意性の解読：マーケターのガイド

 

イントロダクション

 

人工知能（AI）の領域における正確性と信頼性の追求は、プロンプトエンジニアリングの画期的な手法を導入してきました。これらの手法は、生成モデルがさまざまなクエリに正確で意味のある応答を提供するために重要な役割を果たしています。最近登場したChain-of-Verification（CoVe）手法は、この探求の中で重要な里程碑を築いています。この革新的な手法は、大規模言語モデル（LLM）における空想情報の生成、通俗的には空想として知られる、正しい事実情報を妥当なものにすることに対処することを目指しています。モデルが応答について熟考し、自己検証プロセスを経ることで、CoVeは生成テキストの信頼性の向上に有望な先例を提供しています。

広範な文書のコーパスに基づいてテキストを処理および生成する能力を持ったLLMの成長するエコシステムは、さまざまなタスクで驚異的な能力を示してきました。しかし、未知またはまれなトピックに関して特に空想情報を生成する傾向がまだ残っています。Chain-of-Verification手法は、これらの課題の中で希望の光となり、空想を最小限に抑え、生成された応答の正確性を向上させるための構造化されたアプローチを提供しています。

 

Chain-of-Verificationの理解

 

CoVeは、LLMの空想を軽減するための4つのステップメカニズムを展開しています：

• 初期応答の起案
• 起案を事実チェックするための検証質問の計画
• バイアスを避けるためにそれらの質問に独立して回答する
• 回答に基づいた最終的な検証済み応答の生成

この体系的なアプローチは、空想の問題だけでなく、生成テキストの正確性を高める自己検証プロセスを包括しています。この手法の効果は、リストベースの質問、クローズドブックのQA、長文テキスト生成など、さまざまなタスクで示されており、空想の減少とパフォーマンスの向上を示しています。

 

Chain-of-Verificationの実装

 

CoVeを採用するには、LLMsのワークフローにその4つのステッププロセスを統合する必要があります。たとえば、歴史的な出来事のリストを生成するという課題が与えられた場合、CoVeを採用したLLMはまず応答の起案を行い、各出来事の事実チェックの検証質問を計画し、それらの質問に独立して回答し、最後にバリデーションを受けたものに基づいて検証済みリストを生成します。

CoVeに固有の厳格な検証プロセスは、生成された応答の正確性と信頼性の度合いを高めます。この検証に対する厳格なアプローチは、情報の品質を豊かにするだけでなく、AI生成プロセス内での説明責任の文化を育むことでもあり、より信頼性のあるAI生成テキストの実現に向けた重要な進歩を表しています。

 例1

• 質問: 20世紀の注目すべき発明のリストを挙げてください。
• 初期起案: インターネット、量子力学、DNAの構造の発見
• 検証質問: インターネットは20世紀に発明されましたか？量子力学は20世紀に開発されましたか？DNAの構造は20世紀に発見されましたか？
• 最終検証済み応答: インターネット、ペニシリンの発見、DNAの構造の発見

 例2

• 質問: アフリカの国のリストを提供してください。
• 初期起案: ナイジェリア、エチオピア、エジプト、南アフリカ、スーダン
• 検証質問: ナイジェリアはアフリカにありますか？エチオピアはアフリカにありますか？エジプトはアフリカにありますか？南アフリカはアフリカにありますか？スーダンはアフリカにありますか？
• 最終検証済み応答: ナイジェリア、エチオピア、エジプト、南アフリカ、スーダン

CoVeを採用することは、LLMのワークフローにその4つの手順を統合することを意味します。例えば、歴史的な出来事のリストを生成するよう指示された場合、CoVeを用いるLLMは初めに応答の草案を作り、それぞれの出来事を事実確認する検証質問を計画し、それに独立して回答し、最終的には受け取った検証に基づいて検証済みのリストを生成します。

 

この手法では、LLMに対してコンテキストのある例文と質問を提供し、各質問に対してこのようなアプローチを取るためにCoVeの例文でLLMを調整することも必要です。

 

結論

 

Chain-of-Verification（CoVe）方法の出現は、信頼性の高い正確なAI生成テキストを実現するためのプロンプトエンジニアリングの進展を示すものです。CoVeは幻想問題に直面し、LLMによって生成される情報の品質を高める堅牢な解決策を提供しています。この手法の構造化されたアプローチと自己検証のメカニズムは、より信頼性の高い事実に基づくAI生成プロセスを促進するための重要な飛躍を具現化しています。

CoVeの実装は、実践者と研究者の双方に、プロンプトエンジニアリングの技術を探求し、洗練させ続ける呼びかけです。このような革新的な手法を受け入れることは、Large Language Modelsの持つ可能性を最大限に引き出す上で重要です。AI生成テキストの信頼性が単なる憧れではなく、現実になる未来を約束するものです。

  

****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** （@mattmayo13）は、コンピュータ科学の修士号とデータマイニングの修了証を持つ。VoAGIの編集長として、Matthewは複雑なデータサイエンスの概念を理解しやすくすることを目指しています。彼の専門的な関心は、自然言語処理、機械学習アルゴリズム、新興AIの探求にあります。データサイエンスコミュニティでの知識の民主化を使命としています。Matthewは6歳の時からプログラミングを行っています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!