マイクロソフトとMITの研究者たちによる新しい方法、AIの幻覚を減らすことを目指して

Microsoft and MIT researchers aim to reduce AI hallucinations with a new approach.

NLPの領域では、大規模な言語モデルがテキストデータとのやり取りにおいて重要な役割を果たしてきました。しかし、いくつかの重大な進展があったにもかかわらず、「幻覚」という問題は依然として存在し続けています。幻覚とは、モデルが現実世界の事実と矛盾する情報を生成することです。

MITとマイクロソフトの研究者グループによる新しい論文によれば、新しいアプローチがAIの幻覚を減らすのに役立つかもしれません。AIの幻覚に関連する問題の一つは、これらの問題に関連する危険性です。

これは特に臨床や法律の産業を対象としたアプリケーションに関して懸念されます。これは、独自の規制やコンプライアンス基準により、AIの幻覚のリスクが特有の法的および責任の問題を引き起こす可能性があるためです。

• このAI研究では、LayoutNUWAというAIモデルを提案していますこのモデルは、レイアウト生成をコード生成のタスクとして扱い、セマンティック情報を向上させ、大規模言語モデル（LLM）の隠れたレイアウトの専門知識を活用します
• マイクロソフトの研究者は、テキスト重視の画像の機械読み取りのためのマルチモーダルリテラシーモデルであるKosmos-2.5を紹介しました
• 「大規模な言語モデルがコンパイラ最適化のメタAI研究者を驚かせる！」

ここでDoLaが登場します。DoLaの戦略は、モデルのより深い層からの情報を優先し、中間または浅い層からの情報を軽視するというものです。この対照的なデコーディングアプローチにより、外部の知識の取得やさらなる微調整の必要なく、LLMの事実知識が向上します。

これまでの実験結果は有望なもののようです。TruthfulQAやFACTORデータセット上のLLMAなどのLLMの完全性を向上させることが実証されています。さらに、StrategyQAやGSM8K ccにおける思考の連鎖推論に焦点を当てた実験は、その能力を大幅に向上させる可能性が示唆されています。

さらに興味深いことに、DoLaはGPT-4を用いたオープンエンドのテキスト生成の評価において、情報量が豊富でかつ事実に基づいた応答を生成し、従来のデコーディング方法と比較して優れた評価を受けました。さらに、デコーディングプロセスにはわずかな時間しか追加されないため、実用的で効率的な解決策となります。

研究は有望に見えますが、論文では、チームが指示に従ったり人間のフィードバックに応答したりするなど、他の領域へのテストを拡張しなかったことを指摘しています。また、彼らのアプローチは既存のアーキテクチャとパラメータに完全に依存しているため、可能な改良の範囲が制限されています。

回復補強型LLMとは異なり、DoLaは既存のモデルの知識に完全に依存し、外部の情報取得モジュールを介して新しい情報を追加しません。研究者は、将来の研究でこれらのコンポーネントを統合し、これらの制限を克服する可能性があると希望を表明しています。

興味があれば、DoLaのGitHubはこちらで見つけることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!