「言語モデルの微調整を革命化する：NEFTuneのノイズ付き埋め込みで達成する前例のない向上」

「新たな革命をもたらす言語モデル微調整：NEFTuneのノイズ付き埋め込みによる前例のない進化」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-25-at-2.28.30-AM-1024×810.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-25-at-2.28.30-AM-150×150.png”/><p>命令の微調整は、LLMを小規模な厳選された命令データセットでトレーニングするプロセスであり、モデルが命令に基づくタスクで高いパフォーマンスを達成できるようにします。これには、解釈性の向上、バイアスの削減、およびタスクパフォーマンスの向上など、多くの利点があります。したがって、LLMの真の潜在能力を引き出すためには、命令の微調整が不可欠であり、そのためにはプロセスの結果を改善することが重要となります。</p><p>この研究論文の著者たちは、命令に基づくタスクのモデルパフォーマンスを改善するためのNEFTune（ノイズ埋め込み命令微調整）という新しい手法を提案しています。彼らは、微調整の前方パスの段階でトレーニングデータの埋め込みベクトルにランダムノイズを追加することで、モデルのパフォーマンスを著しく改善できることを示していますが、追加の計算リソースやデータは必要ありません。NEFTuneにより、LLMの対話タスクにおけるパフォーマンスが驚くほど向上し、同時に事実に基づく質問応答のパフォーマンスを維持します。</p><p>研究者たちは、LLLaMA-1、LLLaMA-2、OPT-6.7Bなどの7BパラメータLLMやAlpaca、ShareGPTなどの微調整データセットを使用してほとんどの実験を行いました。結果はAplacaEvalデータセットを使用して評価され、評価者であるGPT-4によって、LLMがOpenAIのText-Davinci-003モデルよりも好まれる割合である勝率を算出することができました。</p><p>結果は、これらのモデルをNEFTでトレーニングすることで、対話能力と回答の品質が大幅に向上することを示しています。ノイズ埋め込みで微調整することで、LLLaMA-2 7Bのパフォーマンスは29.8％から64.7％に大幅に向上し、すべてのモデルの平均パフォーマンスも約15％向上しました。研究者は、LLMを評価する際に人間の注釈者も使用しました。NEFTは88回優先され、22回が引き分けであり、NEFTの勝利スコアは約74％となりました。</p><p>実験の1つでは、LLLaMA-2をAlpacaでNEFTの有無でトレーニングし、量子コンピューティングに関するプロンプトを提示しました。ノイズ埋め込みを使用した2段階目の応答は、超越性や量子もつれのような複雑な概念をより明確に説明し、流暢性が向上しました。</p><p>研究者たちは、トレーニング時に埋め込みにノイズを導入することで、モデルが過学習に陥りにくくなると仮説を立てています。フォーマットの詳細やテキストの長さ、正確な言い回しなどの正確な情報分布に焦点を当てる代わりに、モデルは事前にトレーニングされた基本モデルの知識と振る舞いを包括した回答を提供します。</p><p>命令の微調整の重要性を考えると、これまでにさまざまなモデルと方法が研究者によって紹介されています。NEFTは、ノイズ埋め込みを使用してパフォーマンスを改善する最初の手法ではありませんが、対話タスクにおけるLLMのパフォーマンスを大幅に向上させることができ、量子コンピューティングのような複雑なトピックの詳細で明確な説明を提供します。最も重要なのは、この方法が追加の計算リソースを必要とせず、著者たちはそれをLLMの微調整における「無料の昼食」と呼んでいます。NEFTuneは将来のLLMの開発に広く活用される可能性があり、実世界のさまざまなタスクにおけるLLMの機能を向上させる有望なツールとなります。</p>

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!