マイクロソフトリサーチとジョージア工科大学の研究者が、言語モデルの幻覚の統計的な境界を公表しました

マイクロソフトリサーチとジョージア工科大学の研究者が公表した言語モデルの幻覚に関する統計的な境界

最近、言語モデルで浮かび上がった主要な問題の一つは、言語モデル（LM）が存在しない記事タイトルへの言及を含む誤った情報を提供する割合が高いことです。メリアム・ウェブスター辞書は、「幻覚」とは「人工知能アルゴリズムによって生成される合理的ながらも虚偽または誤解を招く応答」と定義しています。ある事例では、法的調査を提出した弁護士たちが正確だと思っていた架空の裁判事例を盛り込んでしまい、5000ドルの罰金を科せられました。医療の現場でも、患者の幻覚は命取りとなり、医師たちは過失訴訟を心配しています。さらに、メディアも幻覚について詳細に報道しており、アメリカ合衆国の大統領は最近、生成型人工知能システムからの欺瞞的な結果に対する保護策を含む大統領令を発令しました。

この研究では、マイクロソフトリサーチとジョージア工科大学の研究者が、複数のファクト予測がキャリブレーションされた学習機械（LMs）における幻覚発生率に関する統計的な下限を提示しています。これにより、幻覚の特性が明らかになります。これは幻覚が避けられないことを意味するものではありません。研究チームが議論するとおり、幻覚発生率やキャリブレーションを下げる「事前訓練」手順に「事後訓練」手順を補完するという、実践者の傾向に合致しています。LMは、単語やその他の文字列のシーケンスの確率分布Dであり、正の確率ですべての文字列を予測するLM（典型的なLMの特徴）は、必然的に正の確率で幻覚を示します。ただし、この確率が低い場合、幻覚は珍しいことになります。したがって、幻覚の頻度を測定することは重要です。

完全なシーケンスの対数確率または前のトークンに条件付けられた次のトークンの条件付き対数確率は、同一の分布Dを表現するために使用することができます。log D(t1…tm) = Pm i=1 log D(ti | t1 … ti−1)。この些細な数学的な同等性には重要な意味があります。予測と生成には異なる要件がありますが、自然発生テキストに基づいて前のトークンに条件付けられた次のトークンを予測するために、任意のLMを使用することができます。たとえば、次の文を考えてみましょう。Alexa Wilkinsさんは先週の火曜日にランチのためにSalumeriaに行った理由は、レビューでツナサンドイッチが素晴らしいと言われていたからです。予測型言語モデルは、このような文を提案して、電話のタイピングを軽減するかもしれません。ツナの後に単語としてサンドイッチを予測することは有益かもしれませんし、サラダなどの他の可能性のある単語も含まれるかもしれません。

• Google AI研究のTranslatotron 3：革新的な教師なし音声対音声翻訳アーキテクチャの発表
• スターリング-7B AIフィードバックからの強化学習によるLLM
• 「マックス・プランク研究所の研究者がPoseGPTを導入：画像やテキストの説明から3D人物のポーズを理解し、論理的に推論するための大規模言語モデル（LLM）を利用した人工知能フレームワーク」

しかし、生成型のLMがこの種の文の大部分をランダムにでっち上げるとすると、それは誤りです。この記事によると、完全な状況であっても、強力な予測テキスト能力を持つLMは幻覚を経験するはずです。特に、現在では一般的な事前訓練の初期段階では、生成型LMは予測テキストの性能に合わせて調整されます。さらに、その結果は幻覚発生率の下限を提供し、異なる種類の事実がどのような頻度で幻覚化されるべきかについての示唆を与えるでしょう。上記の例と将来参照と（研究チームが5W（Who-Ate-What-When-Where-Why factoids）と呼ぶもの）は、ルールによって系統的に特定できないという点で共通しています。つまり、これらのほとんどの事実は訓練データに含まれていないため、検証することができません。

事実とは異なり、その妥当性が方法論的に確認できるものもあります。多くの理想的な特性を持つ簡略化された状況でも、研究チームはLMが経験する幻覚の数を推定しています。研究チームは、LMの幻覚の根源を特定することを目指すため、統計的な下限が、訓練データがノイズのない状況でi.i.d.になるような単純な文脈で成り立つようにします（ノイズ耐性のある分類技術など）。

研究チームは、生成型モデルへのキャリブレーションの自然な拡張を提供しています。彼らのアイデアは、以前のLMのキャリブレーション応用とは異なり、トークンレベルではありませんでした。各事実はさまざまな方法で自然言語で記述される可能性があるため、トークンの確率をキャリブレーションすることは、生のトークンの確率を評価する際にのみ有用です。むしろ、テキスト内の情報（事実または幻覚）のビットごとの確率分布を、彼らの意味レベルのキャリブレーションによって考慮します。LMがキャリブレーションされているとは、確率a≈zで作成された情報が、与えられた確率z∈[0, 1]で自然発生の言語の一部に平均的に現れることを意味します（理想的には、訓練データが収集された分布と同様）。

この作品は、訓練データが完璧に事実である理想的な世界でも、事実と幻覚のぼやけはなく、各文書には最大で1つの事実しか含まれず、幻覚を促すようなプロンプトさえ存在しない状況でも、予測精度のために事前学習された言語モデルは幻覚を引き起こすことを示すことを目指しています。さらに、彼らの仮説は、トリグラムモデルなど以前の言語モデルと比較可能なデータセットでのトレーニングにも関わらず、現代の言語モデルが以前の言語モデルよりも大きな幻覚を持つのかを明確にします。単一の事実の出現率によって、キャリブレーションされた言語モデルがさまざまな種類の事実について自己欺瞞をする必要がある可能性を示すことができます。

訓練データに頻繁に現れるが一度だけ発生する高い単一事実率を持つ事実が発生すると、幻覚が予測されます。本や記事への言及については、現在研究されている問題の種類の幻覚であることが珍しいことです。したがって、トレーニング中に言語モデルが遭遇する参照などを含む事実の数が、モデルの容量などの他の問題から生じる可能性もあります。また、事後学習を使用せずに事前学習パイプラインを変更することで、幻覚化された参照を修正することが可能かもしれませんが、5Wの例にあるような他の種類の恣意的な事実には対応できません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!