スターリング-7B AIフィードバックからの強化学習によるLLM

『スターリング-7B：AIフィードバックからの強化学習によるLLM』

UCバークレーの研究チームが、オープンソースの大規模言語モデル（LLM）であるStarling-7Bを導入しています。このモデルは人工知能フィードバック（RLAIF）からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています（ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない）。

強化学習の可能性

教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習（RLHF）またはAIフィードバック（RLAIF）の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整（SFT）モデルと比較してRLHFの潜在能力を十分に示していませんでした。

この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。

• 「マックス・プランク研究所の研究者がPoseGPTを導入：画像やテキストの説明から3D人物のポーズを理解し、論理的に推論するための大規模言語モデル（LLM）を利用した人工知能フレームワーク」
• このAI研究によって、写真-SLAMが発表されました：ポータブルデバイスでのリアルタイム写真写実的マッピングを向上させる
• ジュネーブ大学の研究者は、多剤耐性（MDR）腸内細菌感染の入院リスクを予測するためのグラフベースの機械学習モデルを調査しています

報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51％から91.99％に大幅に改善されました。

他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか（2023年）

モデルの評価

Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。

直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。

合成優先データのGoodhartの法則

考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。

制限事項

Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。

私たちの意見

RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!