スターリング-7B AIフィードバックからの強化学習によるLLM

『スターリング-7B:AIフィードバックからの強化学習によるLLM』

UCバークレーの研究チームが、オープンソースの大規模言語モデル(LLM)であるStarling-7Bを導入しています。このモデルは人工知能フィードバック(RLAIF)からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています(ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない)。

強化学習の可能性

教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習(RLHF)またはAIフィードバック(RLAIF)の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整(SFT)モデルと比較してRLHFの潜在能力を十分に示していませんでした。

この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。

報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51%から91.99%に大幅に改善されました。

他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか(2023年)

モデルの評価

Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。

直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。

合成優先データのGoodhartの法則

考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。

制限事項

Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。

私たちの意見

RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

2023年の製品マネージャーにとって最高のAIツール

AI市場の急速な拡大は、製品マネージャーの生産性向上に加えて、新しい職種の出現を促進する可能性があることに多くの人々が...

データサイエンス

ニュースグループが報道内容に大いに依存しているA.I.チャットボットについて述べています

ニュースメディア・アライアンスは、新聞を代表するトレードグループであり、A.I.チャットボットは一般的なオンラインコンテ...

機械学習

「医療AIの基礎モデル」

「私たちはPLIPという医療AIの基盤モデルを説明しますPLIPは病理学のAIタスクをサポートするために構築されたビジョン言語モ...

データサイエンス

「データ統合の未来のトレンド」

クラウドソリューションやリアルタイム分析から機械学習まで、データ統合の将来を探求するこの進化する風景で、適応性が鍵となる

データサイエンス

「2023年の機械学習モデルにおけるトップな合成データツール/スタートアップ」

実際の出来事の結果ではなく、意図的に作成された情報は、合成データとして知られています。合成データはアルゴリズムによっ...

機械学習

「MATLABとAmazon SageMakerによる機械学習」

この投稿はMathWorksのBrad Duncan、Rachel Johnson、Richard Alcockとの共同執筆ですMATLABはデータ処理、並列コンピューテ...