コーネル大学の研究者たちは、不連続処理を伴う量子化（QuIP）を導入しましたこれは、量子化が不連続な重みとヘシアン行列から利益を得るという洞察に基づく新しいAIの手法です

コーネル大学の研究者は、不連続処理を伴う量子化（QuIP）を導入しましたこれは、不連続な重みとヘシアン行列から利益を得る新しいAIの手法です

大規模言語モデル（LLM）によって、テキスト作成、フューショット学習、推論、タンパク質配列モデリングなどの領域で改善が可能になりました。これらのモデルは数百億のパラメータを持つことがあり、複雑な展開戦略が必要となり、効率的な推論技術の研究を促しています。

コーネル大学の新しい研究では、LLMのパラメータをトレーニング後に量子化して実世界のシナリオでのパフォーマンスを向上させています。彼らの重要な洞察は、重みとプロキシヘシアン行列が非整合的な場合に、重みを有限の圧縮された値のセットに適応的に丸めることが容易であるということです。直感的には、重み自体と良好な丸めの精度を持つことが重要な方向は、どの座標でもあまり大きくないためです。

この洞察を利用して、研究者たちは理論的に妥当でありLLMサイズのモデルにも拡張可能な2ビットの量子化技術を作成しました。この洞察に基づいて、彼らは量子化と非整合処理（QuIP）と呼ばれる新しい技術を提供しています。

• 「マイクロソフトの研究者がSpeechXを紹介：ゼロショットのTTSと様々な音声変換タスクに対応する多目的音声生成モデル」
• 「スタンフォード大学の研究者が自然な視覚の解読を解明し、新しいモデルが目が視覚シーンを解読する方法を明らかにする」
• アリババの研究者たちは、ChatGPTのような現代のチャットボットの指示に従う能力を活用した、オープンセットの細かいタグ付けツールであるINSTAGを提案しています

QuIPには2つのフェーズがあります：

1. 効率的な事前処理と事後処理により、ヘシアン行列がランダムな直交行列のクロネッカー積によって非整合的になることを保証します。
2. 推定ヘシアンを使用して、元の重みと量子化された重みの間の誤差の二次プロキシ目的関数を最小化する適応的な丸め手順です。 “非整合処理”は、提案手法の初期処理フェーズと最終処理フェーズの両方を指します。

実装の実用性に加えて、彼らはLLMサイズのモデルにスケーリングする量子化アルゴリズムのための初めての理論的研究を提供し、非整合性の影響を調査し、量子化手法が広範な丸め技術よりも優れていることを示しています。この研究では、QuIPによる非整合処理を行わない場合にOPTQという以前の技術のより効率的な実装が得られることも示しています。

実験結果は、非整合処理が大規模モデルの量子化を有意に向上させ、特に高い圧縮率で優れた結果をもたらし、重みごとに2ビットのみを使用するLLM量子化手法の実現を示しています。大規模なLLMサイズ（>2Bパラメータ）では2ビットと4ビットの圧縮間に小さなギャップが観察され、モデルサイズが大きくなるにつれてこれらのギャップはさらに縮小され、LLMで正確な2ビットの推論が可能性があることを示唆しています。

プロキシ目的関数では、トランスフォーマーブロック間、またはブロック内のレイヤー間の相互作用は考慮されていません。チームは、このスケールでこのような相互作用を含める利点と、それにかかる計算量の価値が現在わかっていないと述べています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!