「LLMsが幻覚を見るのを止めることはできますか？」

LLMsの幻覚止められる？

意見

広範なLLMの普及における最大の障壁の一つは、本質的に解決不可能な可能性があります。

大規模言語モデル（LLM）はほぼ全ての人々の注目を集めていますが、この技術の広範な展開は、それに関連する非常に厄介な側面のためにわずかに制限されています。言い換えれば、これらのモデルは時々何かをでっち上げる傾向があり、最悪の場合、それは非常に説得力があるように見えることが多いです。

幻覚は頻繁であるかどうかに関係なく、2つの主要な問題を引き起こします。まず、単一のミスが非常に高価になるような感度の高いまたは脆弱な分野では、直接的に実装することができません。さらに、LLMから出てくるすべてのことをユーザーが検証することを期待されるため、一般的な不信感を引き起こし、少なくとも部分的には、このような技術の目的を果たさなくなります。

学界も幻覚を重大な問題と考えているようであり、2023年にはこの問題について議論し、解決しようと試みる研究論文が数十あります。しかし、私はMetaのAIチーフサイエンティストであるYann LeCun氏と同意する傾向にあります。幻覚は完全に解決不可能です。この問題を解消するためには、技術の完全な見直しが必要です。

幻覚的な誤った記述

私が考えるに、幻覚を解決不可能にしている2つの重要な要素があります。まず、明らかな技術的な基盤から始めましょう。LLMは、他のどんな機械学習モデルと同様に、確率的な性質を持っています。言い換えれば、彼らは予測を行います。

• 「エンティティ解決とグラフニューラルネットワークを用いた詐欺検知」
• 「Maxflow Mincut定理の発見：包括的かつ形式的なアプローチ」
• 「iOSのための10の最高のデータ復旧ツール（2023年8月）」

彼らは「手の込んだ自動補完」とは確かに大きく進化していますが、基礎となる技術は依然としてトークンに関する統計的な予測を使用しています。これはLLMの長所と短所の両方です。

長所として、入力の後に来るべきものを驚くほど正確に予測できることを見てきました（意図的な出力の破壊を意図した場合を除く）。ユーザーはタイプミスを残したり、単語の意味を誤解したりするなど、さまざまな種類のミスをすることがありますが、LLMは依然として出力を正しく予測することができます。

初期のテキストベースのゲームが作成された当時、ユーザーはエラーや解釈の余地のないコマンドを入力するよう求められました。たとえば、「move north」というコマンドは、「move morth」と入力すればエラーが発生します。しかし、LLMは両方の場合の意味を推測することができるかもしれません。その意味で、この技術は本当に魅力的です。

しかし、それは同時に弱点も示しています。どの入力に対しても、トークンの選択肢は広範囲にわたります。言い換えれば、モデルが出力を作成する方法は常に多岐にわたります。その大きな範囲の中で、比較的小さな部分が「正しい」決定です。

最適化のためのさまざまなオプションがありますが、問題自体は解決不可能です。たとえば、特定の回答を提供する可能性を高めると、LLMは検索テーブルになってしまいますので、バランスを保たなければなりません。基礎となる技術は単に確率的な予測に基づいており、より広範な出力トークンの提供にはある程度の余地が必要です。

しかし、LLMは現在の状態ではもう一つの問題も解決できません。それは知識の性質を研究する哲学の分野である認識論に関連するもので、少し曖昧で抽象的です。それは単純な問題です – どの記述が真実であるか、そしてどのようにしてそのような知識を得るのか、ということです。幻覚は単に事後的に起きる一連の誤った記述ですので、モデルが誤った記述を作成したことを検証して削除する方法を作成できれば、問題は解決されます。

幻覚と真実の記述を区別する

哲学の足跡を辿ると、2つのタイプの可能な記述 – 分析的な記述と総合的な記述 – を区別することができます。前者は、定義によって真実である記述です（最も一般的な例の一つは「独身男性は独身の男性である」というものです）。言い換えれば、言語自体を分析することで真実であるとわかる記述を見つけることができますし、外部の経験は必要ありません。

総合的な記述は、何らかの形の経験によって真実であるとされる記述です。たとえば、「テーブルの上にリンゴがある」という記述は、直接の経験に言及しない限り、その真偽を知る方法はありません。純粋な言語分析では、それが真実か偽りかを判断することはできません。

これらの文の間の区別は数百年にわたって激しく議論されてきましたが、LLMにとってはほとんど関係のない議論です。その名前が示すように、彼らは高度に進化した言語分析と予測の機械です。

2つのタイプの間の区別に従うと、LLMは分析文にほとんど問題がない（少なくとも人間が持つほどではない）と言えます。しかし、彼らには経験や世界全体へのアクセスがありません。彼らはある事象のためにいくつかの文が真実であることを知る方法はありません。

主な問題は、分析文の数がすべての合成文の集合よりも著しく少ないことです。LLMはこれらの文が真実であるかどうかを検証する方法を持っていないため、私たち人間がその情報を提供する必要があります。

したがって、LLMは課題に直面します。すべての可能な出力の集合には常にいくつかの合成文が含まれますが、モデルにとってはそれらすべてが真理値に無関心です。簡単に言えば、「ユリウス・シーザーの暗殺者はブルータスだった」（多くいましたが、この場合は関係ありません）と「ユリウス・シーザーの暗殺者はエイブラハム・リンカーンだった」はモデルにとって同等です。

反論としては、私たち自身もそれらの出来事について直接の経験はしていません。私たちは本でそれらについて読んだだけです。しかし、その文の真実性の発見は、生き残った記録や様々な他の考古学的証拠の再構築に基づいています。

（もっとも関連性は低いですが）「今日は雨が降っている」という文の簡単な例もあります。このような文は、LLMにとっては真実であるかどうかを判断することは不可能です。

ある意味では、この認識論的な問題は自己解決します。文学のコーパスは、「ユリウス・シーザーの暗殺者はブルータスだった」という出力をより頻繁に生み出すため、それをより真実らしくします。しかし、問題は、このような自己解決の解決策が、明らかに不可能なすべての利用可能なテキスト情報に基づいてLLMを訓練することに依存していることです。さらに、それにより他のより真実ではない出力がすべての可能な出力の集合から完全に消えるわけではありません。

そのため、データの品質は重要な要素となりますが、その品質は人間の観察者によってのみ判断されることができます。モデルが膨大な量のデータで訓練されている場合でも、合成文の誤り率を完全に排除することはできません。

結論

私はモデルが妄想を止める問題は解決不可能だと考えています。まず第一に、この技術自体が確率的なプロセスに基づいているため、多くの出力においては誤った予測を引き起こすことは避けられません。

技術上の障壁に加えて、LLMが文について真理値の判断をすることが可能かという問題がありますが、再び、私は彼らが現実世界へのアクセスがないため不可能だと考えています。ただし、多くのLLMには現在利用可能な検索エンジン機能があり、それによって特定の文を検証することができるとされています。

しかし、文をテストするためのデータベースを収集することは可能かもしれませんが、それには技術自体以上のものが必要であり、それは私たちを初期の問題に戻します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!