アムステルダム大学とクアルコムAIの研究者がVeRAを発表：LoRAと比べて訓練可能なパラメーターの数を10倍削減する革新的なファインチューニングAI手法

「アムステルダム大学とクアルコムAIの研究者がVeRAを発表：LoRAと比べ、訓練可能なパラメーターの数を10倍削減する革新的なファインチューニングAI手法」

自然言語処理の応用範囲の拡大に伴い、最小限の計算複雑性とメモリ要件で特定の指示を効果的に理解し行動するモデルへの需要が高まっています。この研究では既存の手法の限界を示し、VeRAという新しいアプローチを紹介し、指示調整プロセスを劇的に最適化することを目指しています。

言語モデルは、メモリ要件と計算要求の点で助けが必要なことがよくあり、実世界のアプリケーションには効率的ではありません。この問題に対処するため、研究者はVeRAを導入し、Llama2 7Bモデルがわずか140万トレーニング可能なパラメータのみを使用して効果的な指示の追跡ができるようにしました。これは、以前に使用されていたLoRA手法と比べて、パラメータの数が159.9万であり、64のランクが必要とされたというDettmersらによって提案されたものと比べて顕著な進歩です。パフォーマンスレベルを維持しながらパラメータを大幅に減らすことは、VeRAアプローチの効果と約束を示しています。

VeRAメソッドの成功には、上部層を除いたすべての線形層に重点を置いた包括的な微調整戦略があります。さらに、シングルGPUトレーニング用の量子化技術の利用と、Alpacaデータセットのクリーンバージョンの利用がVeRAの能力の披露に重要な役割を果たしています。研究チームは、オプティマルなパフォーマンスを確保するために、Alpacaデータセットからの10,000のサンプルのサブセットでのトレーニングを行い、詳細な学習率スイープに続いています。データ選択とトレーニング方法論への慎重なアプローチは、研究の結果の堅牢性と信頼性を強調しています。

• UCSDとMicrosoftの研究者がColDecoを導入：計算されたカラムのためのノーコード検査ツール
• 中国の新しいAI研究は、ハードウェアラスタライゼーションをサポートし、前例のないレンダリング速度を実現する4Dポイントクラウド表現である4K4Dを提案しています
• ドイツの研究チームがDeepMBを開発しました MSOTを介して高品質でリアルタイムなオプトアコースティックイメージングを提供するディープラーニングフレームワーク

評価フェーズでは、研究チームはChiang et al.と同様のアプローチを採用し、予め定義された80の質問のモデル応答を生成し、これらの応答をGPT-4で評価しました。表4に示される結果は、従来のLoRA手法と比較して、VeRAメソッドの優れたパフォーマンスを示しています。この重要な成果は、最適な効率性を保ちながら指示の追跡能力を向上させるVeRAアプローチの効果を裏付けるものです。

VeRAメソッドの影響は、即座の応用を超えて、指示調整と言語モデルの最適化におけるパラダイムシフトを示しています。トレーニング可能なパラメータ数を大幅に減らすことで、VeRAは言語モデルの適用における重要なボトルネックを効果的に解決し、より効率的でアクセスしやすいAIサービスの道を開拓しました。この突破は、AI駆動のソリューションに依存するさまざまな産業とセクターにとって、さまざまなアプリケーションに対する指示調整の実用的で効率的なアプローチを提供し、莫大な可能性を秘めています。

まとめると、VeRAメソッドの出現は、言語モデルと指示調整の方法論の進化における重要なマイルストーンを示しています。その成功は、最小限の計算複雑性とメモリ要件で最適なパフォーマンスを達成する可能性の証明です。効率的で実用的なAIソリューションへの需要が引き続き高まる中、VeRAメソッドはAI研究の進歩と異なる産業とセクターにおける潜在能力を示すものです。研究チームの結果は、よりアクセスしやすく効率的なAIソリューションの追求における重要な一歩を示し、自然言語処理と指示調整技術の将来の革新と発展の舞台を作り出します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!