リーンで、意味ありげなAI夢マシン：DejaVuは知能を失わずにAIとのおしゃべりコストを削減しる

ありげなAI夢マシン「DejaVu」でAIとのおしゃべりコストを削減！知能を失わずにリーンな会話体験を

大規模言語モデルのトレーニングには、強力なGPUやTPU、AIアクセラレータなどの専用ハードウェアなどの高度な計算リソースが必要です。これらのリソースは獲得や維持に高額な費用がかかることがあります。大規模言語モデルをトレーニングするために必要な膨大な量のデータを収集し準備することは、費用と時間がかかる作業です。モデルの性能には、高品質で多様かつ代表的なデータセットが必要です。

大規模言語モデルのトレーニングには、モデルのサイズと複雑さによって数週間、あるいは数ヶ月かかることがあります。スパース性は、この費用を削減する自然なアプローチです。既存の手法では、高額な再トレーニングが必要な場合や、現代のハードウェアでは壁時計時間の高速化が得られない場合があります。研究者たちは、入力に応じた一連のアテンションヘッドとMLPパラメータの新しいスパース性を提案しました。これにより、モデルがより長い時間にわたって同じ出力を生成することが可能です。

彼らは、文脈的なスパース性が存在すると仮定し、それが正確に予測されると、LLM（Large Language Model）の推論を妨げることなく、壁時計時間で高速化することができるという仮説を立てました。彼らは、低コストのアルゴリズムを使用して、各層への入力に応じて文脈的なスパース性をリアルタイムに予測するシステム「DEJAVU」を提案しています。

• 人工知能の言語スキルを評価する：ChatGPTの言語形態スキルをさらに掘り下げて
• 「AIとIMOの課題を結ぶ：形式的な平面幾何学システムにおける大発見」
• 「事実かフィクションかを超えて：GPT-4の高度な事実チェック能力の評価」

文脈的なスパース性が存在する場合でも、特定の入力に対するスパース性を事前に予測することは困難です。そのような文脈的なスパース性が存在するかどうかを検証するのは容易ではなく、単純な検証は費用がかかる場合があります。また、エンドツーエンドの壁時計時間の高速化を達成することも困難かもしれません。研究チームは、簡単なアプローチでそのようなスパース性の存在を検証しました。文脈的なスパース性は、個々の入力トークンだけでなく、その相互作用にも依存しています。十分な文脈情報を持つトークン埋め込みを使用することで、正確にスパース性を予測することができます。

MLPブロックの文脈的なスパース性は、アクティベーションを計算した後に識別することができます。ただし、これによって文脈的なスパース性の存在が示されるだけで、効率の面での利点はありません。文脈的なスパース性をエンドツーエンドで効率的に活用するには、高速で正確な予測が必要です。

DEJAVUは、予測コストを回避するために先読み予測子を使用します。ブロックkのアテンション層への入力が与えられた場合、彼らは非同期にブロックkのMLPに対して文脈的なスパース性を予測し、その情報をブロックkのMLPに提供します。次の層のアテンションヘッドでのスパース性も予測します。また、彼らは、文脈的なスパース性を軽量な学習ベースのアルゴリズムで正確に予測できると主張しています。

研究者は、DEJAVUが最先端のFasterTransformerに比べてトークン生成のレイテンシを2倍以上削減し、Hugging Faceに比べて6倍以上の削減を達成し、正確さの低下はないことを発見しました。MLPスパース予測子は、ゼロショットタスクと言語モデリングの両方で正確さの低下はありません。MLPスパース予測子のトレーニングでは、高い検証精度が得られることが観察されました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!