マイクロソフトの研究者たちは、ラベル付きトレーニングデータを使用せずにパレート最適な自己監督を用いたLLMキャリブレーションの新しいフレームワークを提案しています
Microsoft研究者は、新しいフレームワークであるパレート最適な自己監督を使用したLLMキャリブレーションを提案しています
最近の進展により、大規模言語モデル（LLM）の能力が著しく向上しており、生成事前トランスフォーマー（GPT）モデルは大きな可能性を示しています。GPT-3からGPT-4への移行や、PaLMやLLaMAといった他のLLMの登場により、問題解決能力や自然言語理解能力が著しく向上しました。また、生成モデルはさまざまな分野でデータを生成するために頻繁に使用されます。生物学や医療などの高い精度と信頼性が必要なアプリケーションでLLMが使用される場合、幻覚の問題は依然として大きな障壁となっています。
残念ながら、幻覚を正確に検出したり出力の信頼性を測定するための体系的な手法は存在しません。特に、人間の入力を用いた強化学習の後、生成LLMからの固有の信頼スコアは利用できないことがあります。また、ヒューリスティックな手法は計算コストが高く、LLM自体のバイアスによる偏りがあります。LLMのアンサンブルをサンプリングするなど、2つの基本的な方法があります。LLMの回答の信頼度を評価するための。最初の方法では、LLMにさまざまな方法で刺激を与えて多くの回答を作成し、その回答の信頼性を推測するために使用します。
自己整合性や思考の連鎖プロンプトがその例です。これらの手法は定量的ではなく、モデルによって生じるバイアスに対しても影響を受けやすいです。これを測定するための標準化された方法はありませんが、プロンプト技術は結果の品質に重要な影響を与える可能性があります。2つ目の方法は、回答を確認するために人間のレビュアーを雇ったり、大量のラベル付きデータを使用して評価モデルを作成したりするなど、外部のデータソースに頼るものです。現在の教師ありモデルトレーニングの主な障害の1つは、これらの手法に必要な大量の手動注釈作業です。この点で、自己教育はデータパターンと新たな知識を柔軟に使用できるため、有望な選択肢となります。
この研究のMicrosoftの研究者は、パレート最適学習を使用して、LLMの応答データと監督データの両方を組み合わせる柔軟なフレームワークを提供しています。彼らは、以前のプログラム的監督の取り組みやパレート最適化の研究の豊富さに触発されました。彼らの戦略は次の直感に基づいています。LLM自体が自分自身を判断することからバイアスを防ぐために、LLMとは独立した外部の監督のソースが必要です。2つ目に、LLMのエラーをゴールドラベル上のノイズの摂動として考えます。LLMノイズと独立した外部ノイズの両方を備えたモデルを適合させると、実際には暗黙のラベルスムージングが行われ、キャリブレーション能力が向上します。
この点で、パレート最適自己教育は両方の品質を統合するための有用なフレームワークを提供します。特に、提案された方法は非ラベルデータのみを必要とするため、注釈が費用のかかる分野に適しています。パレート最適学習評価リスク（POLAR）スコアを使用してLLMのミスの可能性を計算することを提案し、4つの異なるNLPタスクに関する実験結果を示し、提案されたPOLARスコアがゴールドラベルで評価されたLLMのエラー率と大きく関連していることを示しました。彼らは、POLARスコアを使用して高リスク状況のための改善されたLLMパフォーマンスを示し、動的なプロンプト戦略を利用してGPT-4のベースラインパフォーマンスを最先端の教師ありモデルを超えるように改善する方法を示しています。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
