「言語モデルの微調整を革命化する:NEFTuneのノイズ付き埋め込みで達成する前例のない向上」

「新たな革命をもたらす言語モデル微調整:NEFTuneのノイズ付き埋め込みによる前例のない進化」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-25-at-2.28.30-AM-1024×810.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-25-at-2.28.30-AM-150×150.png”/><p>命令の微調整は、LLMを小規模な厳選された命令データセットでトレーニングするプロセスであり、モデルが命令に基づくタスクで高いパフォーマンスを達成できるようにします。これには、解釈性の向上、バイアスの削減、およびタスクパフォーマンスの向上など、多くの利点があります。したがって、LLMの真の潜在能力を引き出すためには、命令の微調整が不可欠であり、そのためにはプロセスの結果を改善することが重要となります。</p><p>この研究論文の著者たちは、命令に基づくタスクのモデルパフォーマンスを改善するためのNEFTune(ノイズ埋め込み命令微調整)という新しい手法を提案しています。彼らは、微調整の前方パスの段階でトレーニングデータの埋め込みベクトルにランダムノイズを追加することで、モデルのパフォーマンスを著しく改善できることを示していますが、追加の計算リソースやデータは必要ありません。NEFTuneにより、LLMの対話タスクにおけるパフォーマンスが驚くほど向上し、同時に事実に基づく質問応答のパフォーマンスを維持します。</p><p>研究者たちは、LLLaMA-1、LLLaMA-2、OPT-6.7Bなどの7BパラメータLLMやAlpaca、ShareGPTなどの微調整データセットを使用してほとんどの実験を行いました。結果はAplacaEvalデータセットを使用して評価され、評価者であるGPT-4によって、LLMがOpenAIのText-Davinci-003モデルよりも好まれる割合である勝率を算出することができました。</p><p>結果は、これらのモデルをNEFTでトレーニングすることで、対話能力と回答の品質が大幅に向上することを示しています。ノイズ埋め込みで微調整することで、LLLaMA-2 7Bのパフォーマンスは29.8%から64.7%に大幅に向上し、すべてのモデルの平均パフォーマンスも約15%向上しました。研究者は、LLMを評価する際に人間の注釈者も使用しました。NEFTは88回優先され、22回が引き分けであり、NEFTの勝利スコアは約74%となりました。</p><p>実験の1つでは、LLLaMA-2をAlpacaでNEFTの有無でトレーニングし、量子コンピューティングに関するプロンプトを提示しました。ノイズ埋め込みを使用した2段階目の応答は、超越性や量子もつれのような複雑な概念をより明確に説明し、流暢性が向上しました。</p><p>研究者たちは、トレーニング時に埋め込みにノイズを導入することで、モデルが過学習に陥りにくくなると仮説を立てています。フォーマットの詳細やテキストの長さ、正確な言い回しなどの正確な情報分布に焦点を当てる代わりに、モデルは事前にトレーニングされた基本モデルの知識と振る舞いを包括した回答を提供します。</p><p>命令の微調整の重要性を考えると、これまでにさまざまなモデルと方法が研究者によって紹介されています。NEFTは、ノイズ埋め込みを使用してパフォーマンスを改善する最初の手法ではありませんが、対話タスクにおけるLLMのパフォーマンスを大幅に向上させることができ、量子コンピューティングのような複雑なトピックの詳細で明確な説明を提供します。最も重要なのは、この方法が追加の計算リソースを必要とせず、著者たちはそれをLLMの微調整における「無料の昼食」と呼んでいます。NEFTuneは将来のLLMの開発に広く活用される可能性があり、実世界のさまざまなタスクにおけるLLMの機能を向上させる有望なツールとなります。</p>

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「ChatGPTとBard AIを活用するために、ソフトウェア開発者はどのように役立つことができるのでしょうか?」

以前は、開発者はコードやデバッグに多くの時間を費やしていましたが、今ではChatGPTやBard AIのおかげで、ソフトウェアエン...

人工知能

AIがあなたのように文章を書く方法(クロード2のチュートリアル)

「あなたはClaude 2の回答をChatGPTよりもずっと人間らしくすることができます」

AIニュース

ChatGPTのようなChatBot Zhinaoは、何を言うべきか、何を言うべきでないかを知っています

生成型人工知能(AI)はテック界隈で中心的な役割を果たしていますが、綿密に制御されたインターネット環境での運用はほとん...

機械学習

大規模言語モデル(LLM)の微調整

この投稿では、事前学習されたLLMをファインチューニング(FT)する方法について説明しますまず、FTの重要な概念を紹介し、具...

データサイエンス

スコア! チームNVIDIAが推薦システムでトロフィーを獲得しました

5人の機械学習の専門家が4つの大陸に分散し、最先端のレコメンデーションシステムを構築するための激しい競争で3つのタスク全...

データサイエンス

アマゾンの研究者は、深層学習を活用して複雑な表形式のデータ分析におけるニューラルネットワークを強化します

ニューラルネットワークは、異質なカラムを持つ表形式のデータに直面するときに、現代計算の驚異として、重要なハードルに直...