清華大学研究者がOpenChatを導入：ミックス品質データでオープンソース言語モデルを拡張する新しい人工知能AIフレームワークを紹介

清華大学の研究者がOpenChatを導入し、新しいAIフレームワークを紹介！ミックス品質データでオープンソース言語モデルを拡張しました

自然言語処理の急速な進化において、大規模な言語モデルの能力は指数関数的に成長しています。研究者や組織は世界中で、これらのモデルの性能を向上させるために、さまざまな自然言語理解と生成のタスクで、これらのモデルの限界に挑戦し続けています。これらのモデルの進展の中でも重要な要素の一つは、それらが依存するトレーニングデータの品質です。この記事では、オープンソースの言語モデルの品質向上への取り組みについての研究論文について詳しく解説します。この研究では、混合品質のデータを使用してオープンソースの言語モデルを向上させる方法とその技術、自然言語処理への影響について探求しています。

エキスパートが生成したデータと最適でないデータなどの混合品質のデータは、言語モデルのトレーニングにおいて重要な課題です。GPT-4のような最新のモデルによって生成されるエキスパートデータは通常高品質であり、トレーニングのゴールドスタンダードとして機能します。一方、GPT-3.5のような古いモデルからの最適でないデータは品質が低く、トレーニング中に課題を提供します。この議論対象の研究では、この混合品質のデータのシナリオに対処し、オープンソースの言語モデルの指示に従う能力を向上させることを目指しています。

提案された方法に入る前に、現在の言語モデルのトレーニングで使用されている現行の方法とツールについて簡単に触れてみましょう。これらのモデルを向上させる一つの一般的なアプローチは、教師ありのFine-Tuning（SFT）です。SFTでは、高品質のエキスパートデータを使用して、指示に従うタスクでモデルをトレーニングし、正しい応答の生成を導きます。さらに、強化学習Fine-Tuning（RLFT）の方法が人気を集めています。RLFTは人間からの好みのフィードバックを収集し、これらの好みに基づいて報酬を最大化するようモデルをトレーニングします。

• ジェネラティブAIを通じた感情分析のマスタリング
• 「データの民主化は過大評価されているのか？」
• 「ウィキペディアの知識を持つエージェントを備えたLLaMa 2を作成する」

清華大学は、オープンソースの言語モデルを混合品質のデータを使用して向上させる革新的な方法を提案しました。その中心には、Conditioned Reinforcement Learning Fine-Tuning（C-RLFT）という新しいトレーニング方法があり、このトレーニング方法はトレーニングプロセスを簡素化し、報酬モデルへの依存を減らします。

C-RLFTは、品質に基づいて異なるデータソースを区別することにより、言語モデルの入力情報を豊かにします。この区別は、クラス条件付きポリシーの実装によって達成されます。このポリシーは、モデルがエキスパートが生成した高品質のデータと最適でないデータ（品質が低い）を区別するのに役立ちます。これにより、C-RLFTはモデルに明示的な信号を提供し、指示に従う能力を向上させることが可能です。

OpenChat、特にopen chat-13 bモデルのパフォーマンスは、さまざまなベンチマークで評価されています。その中でも注目すべきベンチマークの一つは、AlpacaEvalです。ここでは、モデルの指示に従う能力がテストされます。Openchat-13bは、LLaMA-2などの13兆パラメータのオープンソースモデルよりも優れた結果を示し、指示に従うタスクで高い勝率と優れたパフォーマンスを達成し、C-RLFT方法の有効性を示しています。

研究チームが強調するデータの品質の重要性は、重要な点です。数量は限られていますが、エキスパートデータは言語モデルのパフォーマンスを向上させるために重要な役割を果たします。エキスパートデータと最適でないデータを区別し、C-RLFTの方法と組み合わせることで、モデルのパフォーマンスを劇的に向上させることができます。この結果は、言語モデルのトレーニングの成功を保証するために、品質の高いトレーニングデータを選定することの重要性を強調しています。

意義と今後の研究

OpenChatのフレームワークとC-RLFTメソッドは、自然言語処理の将来において有望です。このアプローチは、トレーニングプロセスを簡素化し、複雑な報酬モデルへの依存度を低減することにより、研究や開発の新たな可能性を開拓します。また、品質の異なるデータへの対応も課題とされており、多様なトレーニングデータを効果的に活用する手段を提供します。

まとめると、OpenChatは品質の異なるデータを活用してオープンソースの言語モデルを強化する革新的な解決策を提案しています。C-RLFTメソッドを導入することで、このアプローチはベンチマークでのパフォーマンスに表れているように、優れた指示に従う能力を実現しています。自然言語処理が進化し続ける中で、OpenChatのような革新的な技術はより効率的かつ効果的な言語モデルのトレーニングを可能にします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!