スターリング-7B AIフィードバックからの強化学習によるLLM

『スターリング-7B:AIフィードバックからの強化学習によるLLM』

UCバークレーの研究チームが、オープンソースの大規模言語モデル(LLM)であるStarling-7Bを導入しています。このモデルは人工知能フィードバック(RLAIF)からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています(ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない)。

強化学習の可能性

教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習(RLHF)またはAIフィードバック(RLAIF)の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整(SFT)モデルと比較してRLHFの潜在能力を十分に示していませんでした。

この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。

報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51%から91.99%に大幅に改善されました。

他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか(2023年)

モデルの評価

Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。

直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。

合成優先データのGoodhartの法則

考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。

制限事項

Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。

私たちの意見

RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「マインドのための宇宙船」:フロリダ大学がマラコフスキーホールを開設、AIおよびデータサイエンスのエピセンターに

人工知能(AI)と学界の融合を具現化するため、フロリダ大学は金曜日にデータサイエンス&情報技術のマラチョウスキーホール...

AI研究

「マイクロソフトの研究者がSpeechXを紹介:ゼロショットのTTSと様々な音声変換タスクに対応する多目的音声生成モデル」

テキスト、ビジョン、音声など、複数の機械学習アプリケーションは、生成モデルの技術において急速かつ重要な進展を遂げてき...

データサイエンス

Hamiltonを使って、8分でAirflowのDAGの作成とメンテナンスを簡単にしましょう

この投稿では、2つのオープンソースプロジェクト、HamiltonとAirflowの利点と、それらの有向非循環グラフ(DAG)が連携して動...

データサイエンス

現代の生成的AIアプリケーションにおけるベクトルデータベースの役割

大規模な生成AIアプリケーションがうまく機能するためには、多くのデータを処理できる良いシステムが必要ですそのような重要...

機械学習

「グラフ彩色の魅力的な世界を探索する」

この記事では、グラフ塗り分けの複雑さに深く入り込み、その実用的な応用事例を探求し、いくつかの注目すべきアルゴリズムに...

機械学習

AgentBenchをご紹介します:さまざまな状況で大規模な言語モデルをエージェントとして評価するために開発された多次元ベンチマークです

大規模言語モデル(LLM)は登場し、進化し、人工知能の分野に複雑さの新たなレベルを加えました。徹底的なトレーニング方法に...