グーグルの研究者たちは、MEMORY-VQという新しいAIアプローチを提案していますこれにより、メモリ拡張モデルのストレージ要件を削減することができますが、パフォーマンスを犠牲にすることはありません

Google researchers propose a new AI approach called MEMORY-VQ, which reduces the storage requirements of memory-extended models without sacrificing performance.

言語モデルの最近の研究では、事実知識を強化するために検索の拡張の重要性が強調されています。検索の拡張は、これらのモデルに関連するテキストパッセージを提供してパフォーマンスを向上させるものですが、より高い計算コストがかかります。LUMENとLUMEN-VQによって示される新しいアプローチは、コーパスからパッセージを事前エンコードして検索の拡張を高速化することを目指しています。このアプローチは、品質を維持しながら計算負荷を減らすのに役立ちます。ただし、事前エンコードには大量のストレージが必要であり、これが課題となっています。

製品量子化とVQ-VAEの手法を組み合わせたLUMEN-VQは、このストレージの問題に取り組んでおり、16倍の圧縮率を達成しています。これにより、膨大なコーパスのメモリ表現を効率的に保存することができます。この進歩は、言語理解や情報検索のタスクにおいて、実用的な大規模な検索の拡張を実現するための重要な一歩となります。

Googleの研究者は、ストレージ要件を削減するための手法としてMEMORY-VQを紹介しています。これにより、メモリをベクトル量子化して圧縮し、元のメモリベクトルをオンザフライで復号できる整数コードで置き換えます。各量子化ベクトルのストレージ要件は、サブスペースの数とコードを表現するために必要なビット数によって決まります。このアプローチは、LUMENモデルに適用され、LUMEN-VQが実現されます。圧縮と復号には、慎重なコードブックの初期化とメモリの分割が使用されます。

• マイクロソフトの研究者がPromptTTS 2を発表：声の変動性と費用対効果の向上によるテキスト読み上げの革新
• AIモデルが高解像度のコンピュータビジョンを高速化します
• 「Apple製品に見つかった欠陥がスパイウェア感染を引き起こしました：研究者」

結論として、MEMORY-VQは、高いパフォーマンスを維持しながらメモリ拡張言語モデルのストレージ要件を効果的に削減する先駆的な手法です。広範な検索コーパスを扱う場合に特に有益な推論速度の向上を実現するための実用的な解決策となります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!