Search Results SFT

スターリング-7B AIフィードバックからの強化学習によるLLM

UCバークレーの研究チームが、オープンソースの大規模言語モデル（LLM）であるStarling-7Bを導入しています。このモデルは人工知能フィードバック（RLAIF）からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています（ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない）。強化学習の可能性教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習（RLHF）またはAIフィードバック（RLAIF）の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整（SFT）モデルと比較してRLHFの潜在能力を十分に示していませんでした。この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51％から91.99％に大幅に改善されました。他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか（2023年）モデルの評価 Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。合成優先データのGoodhartの法則考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。制限事項 Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。私たちの意見 RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

データエンジニアリング：初心者のためのフォーミュラ1にインスパイアされたガイド

私は強く信じていますある概念を説明する最も良い方法は、具体例を用いることですしかし、私の大学の教授の中には、「それを説明するために例が必要なら、それは理解していない証拠」と言う人もいました

「UCバークレーの研究者たちは、スターリング-7Bを発表しました：AIフィードバックからの強化学習でトレーニングされたオープンな大規模言語モデル（LLM）です（RLAIF）」

大規模言語モデル（LLM）は、自然言語処理タスクのための人工知能モデルです。これらのモデルは膨大なデータセットでトレーニングされ、人間のようなテキストを理解し、生成することができます。彼らは人間のようなテキストを理解し、生成する能力によって自然言語処理を変革しました。その役割は、生活のあらゆる分野に及んでいます。 UCバークレーの研究者たちは、Reinforcement Learning from AI Feedback（RLAIF）によってトレーニングされたオープンな大規模言語モデル（LLM）であるStarling-7Bを開発しました。このモデルは、最近開発された報酬訓練およびポリシーチューニングパイプライン、新しいGPT-4ラベル付きランキングデータセットNectar、最先端の報酬訓練およびポリシーチューニングパイプラインの機能を活用しています。 https://starling.cs.berkeley.edu/ Starling-7Bの基盤は、GPT-4のラベル付きランキングデータセットNectarにあります。このデータセットには183,000のチャットプロンプトが含まれており、各プロンプトにはGPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct、およびLlama2-7Bなどのさまざまなモデルからの7つの応答があります。これにより、380万組の比較が可能となります。研究者たちは、GPT-4の順位付けを求める際に位置バイアスを軽減するためにかなりの努力を注いでおり、データセットのセクションで詳細に説明しています。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 彼らは学習報酬モデルを使用してOpenchat 3.5言語モデルを洗練させ、結果は印象的であると結論づけました。アルパカ評価スコアは88.51％から91.99％に向上し、MT-Benchスコアは7.81から8.09に向上しました。これらのメトリックは、チャットボットの有用性を評価する基準として機能します。研究者たちは、Direct Preference Optimization（DPO）を使用してZephyra-7B、Neural-Chat-7B、およびTulu-2-DPO-70Bなどの既存のオープンソースモデルとモデルを比較しました。これらのモデルはChatbot Arenaで良いパフォーマンスを発揮しましたが、MT BenchではOpenHermes 2.5やOpenchat 3.5などのトップSFTモデルと比較してRLHFの完全なポテンシャルには及びませんでした。研究者たちは、このモデルには特定の課題があると強調しました。それは欺瞞的または操作的な手法に対して脆弱です。また、モデルは数学的または推論タスクに苦労し、出力の事実的な正確性は時々しか保証されません。彼らはまた、モデルが時折冗長になり、ジェイルブレイキングプロンプトに対しても脆弱であることを指摘しました。これらの欠点に対しては、Starling-7Bの改善に引き続き取り組んでいます。この問題に対処するために、彼らはGPT-4をガイドとして使用するルールベースの報酬モデルを利用して、モデルをさらに洗練することを提案しました。GPT-4の技術レポートで概説されている技術を使用します。まとめると、Starling-7Bは、LLMにおける重要な進歩を示し、AIフィードバックからの強化学習の可能性を示しています。自然言語処理の分野は、これらのモデルとコミュニティの共有知識の協力によって向上しています。研究者たちは、モデルのパフォーマンスを向上させ、制限を解決するために取り組んでいます。この投稿は、UCバークレーの研究者によるStarling-7Bの紹介：AIフィードバックからの強化学習によってトレーニングされたオープンな大規模言語モデル（LLM）が最初に掲載されたMarkTechPostです。

「DRESS」とは、自然言語フィードバックを通じて人々と調和し、対話する大規模なビジョン言語モデル（LVLM）です

ビッグビジョン言語モデル、またはLVLMは、ビジュアルな手がかりを解釈し、ユーザーが簡単に対話するための簡単な返答を提供することができます。これは、大規模な言語モデル（LLM）を大規模なビジュアル指示の微調整と巧みに融合させることによって実現されています。しかし、LVLMは教師付き微調整（SFT）によって手作りまたはLLM生成のデータセットのみが必要です。これにより、キャプションジェネレータから指示に従うモデルに変更できるようになりますが、LVLMは依然として傷つける、悪意を持った、または役に立たない返答を生成することがあります。これは、LVLMが人間の好みとより一致する必要があることを示しています。さらに、以前の研究では、ビジュアル指示調整サンプルをマルチターン形式で組織することが推奨されていますが、異なるターン間の弱い関連性と相互依存性により、LVLMの相互作用能力が制限されています。ここで、相互作用能力は、LVLMがマルチターンインタラクションにおいて前の文脈を使用して返答を調整できるかどうかを評価します。これらの2つの欠点は、LVLMが視覚のヘルパーとしての実用性を制限します。国際SRI研究所とイリノイ大学アーバナ・シャンペーン校の研究チームが、本研究でLLMによって生成される自然言語フィードバック（NLF）を使用してユニークに教授されるLVLM「DRESS」を提案しています（図1を参照）。研究チームは、LLMに対し、具体的なルールと詳細な写真注釈を提供することで、LVLMの返答について詳細なフィードバックを提供するよう指示します。人間と一致するLLMの作成プロセスに則って、このフィードバック注釈では3つのH基準（有用性、正直さ、無害性）を考慮しています。フィードバックは、3つのH基準に沿った返答の総合的な品質を評価し、数値スコアとNLFを提供します。研究チームの手法では、NLFを批評と改善に分けています。改善NLFは、返答がゴールド基準リファレンスに合うように改善するための正確な推奨事項をLVLMに提供しますが、批評NLFは、返答の強みと欠点を評価します。この分類は、LVLMをより人間に受け入れられるものにし、相互作用能力を高めるための2種類のNLFの自然な適用を提供します。図1: 研究者はDRESSに自然言語入力を使用するよう指示し、これを批評と改善の2つのカテゴリに分けて、人間の好みと相互作用能力の両方を高めます。研究チームは、NLFの微分不可能な性質に合わせて条件付き強化学習技術を一般化し、そのようなフィードバックでLVLMをトレーニングします。具体的には、研究チームは返答に対する言語モデリング（LM）損失を使用して、DRESSをトレーニングし、2つのNLFに基づいて条件付けられた同等の返答を生成するようにします。研究チームは、数値結果の分析と解釈を通じてDRESSを改善し、ユーザーの好みとより一致するようにします。推論中のマルチターンインタラクションを通じて、研究チームは改善NLFを利用したオリジナルの返答の調整メタスキルを学習するようにDRESSをトレーニングします。研究チームは、マルチターンインタラクションでのDRESSの評価、無害性評価のための敵対的なプロンプティング、正直性評価のための画像キャプショニング、助けになるかどうかの評価のためのオープンエンドの視覚的な質問への応答を行います。実験の結果、以前のLVLMと比較して、DRESSは人間の価値と一致する返答を提供でき、フィードバックから学習し、必要に応じて返答を修正するための優れた相互作用能力を持っています。研究チームの知る限り、この取り組みはLVLMの相互作用能力と3つの3H基準を取り扱う最初の試みです。研究チームの貢献は以下の通りです: • 研究チームは、自然言語フィードバック（NLF）を使用してLVLMの相互作用能力と人間の好みに一致する能力を高めるために、批評と改善NLFに分けることを提案します。 • モデルをトレーニングして、非微分性NLFに依存したマッチング応答を提供するようにすることによって、研究チームは条件付き強化学習手法を一般化し、成功裏に非微分性NLFに対応します。従来のSOTAに比べて、研究チームの提案モデルであるDRESSは、利用価値、誠実さ、無害性の一貫性を系統的に評価した結果、9.76％、11.52％、および21.03％の相対的な改善を示しています。 • 研究グループは、63Kの注釈付き言語NLFの例を公開し、3Hの特徴を含めて一般の利用に提供しています。さらに、研究チームは無害性の一貫性とLVLM評価のための4.7Kのサンプルを含む、公開可能なデータセットを作成しました。

リアルタイムなSlackボットを生成的AIで構築する

「Apache NiFi、LLM、Foundation Models、およびストリーミングを使用して、クールなSlackbotを構築する方法を学びましょうモデルの選択肢と統合についても取り上げます」

Zephyr LLM アライメントの直接蒸留

近年、小さなオープン大規模言語モデルの能力とパフォーマンスは大幅に向上しており、初期のGPT-2モデルからよりコンパクトで正確かつ効果的なLLMフレームワークへの進歩を目撃してきましたこれらのフレームワークは、Chinchillaスケーリングが推奨する「計算最適」トークン量よりもはるかに多くのトークンを使用しています

『オープンソースLLMの歴史：模倣と整合性（パート３）』

オープンソースの大規模言語モデル（LLM）に関する以前の研究の大部分は、事前訓練ベースモデルの作成に重点を置いていましたしかしながら、これらのモデルは微調整されていないため、失敗することがあります...

Zephyr-7B：HuggingFaceのハイパーオプティマイズされたLLM、Mistral 7Bの上に構築

「Zephyr-7B」という画期的な大型言語モデルを詳しく見てみましょう「知識の蒸留」を活用して、AIの効率性とアクセシビリティの新基準を確立し、会話AIの未来を形作っている方法を発見しましょう

「スタンフォード大学の研究者が言語モデルの事実性において革新を成し遂げました：自動的な優先順位付けとNLPの進歩によるエラー削減」

スタンフォード大学とUNCチャペルヒルの研究者は、LLMsが生成する事実に反する主張である幻覚として知られる問題に取り組んでいます。人間のラベリングなしで、研究者はLLMsを微調整してオープンエンドの生成環境で事実の正確性を向上させました。NLPの最近のイノベーションを活用して、外部知識ベースとの整合性を通じて事実性を評価し、直接の好み最適化アルゴリズムを用いて微調整を行っています。このアプローチにより、Llama-2で事実性が大幅に向上し、7Bの尺度での伝記や医学的質問応答の事実エラーレートが大幅に低下しました。プロンプト、内部表現の摂動、および検索ベースの手法など、言語モデル内の事実エラーを緩和するためのさまざまな戦略が存在します。特にモデルのサイズが増大するにつれて、対立解決と事実性の維持に課題があります。FactScoreの変種は、推論時間の複雑さに対処するためにトレーニング中に検索を採用しています。好みに基づく学習を通じて微調整を行うことで、正しくない事実を効果的に減らすことができます。この研究では、言語モデルの不確実性を利用して真実性を推定するためのリファレンスフリーメソッドを導入しています。自動構築された好みペアからの事実性の学習は、人間の介入なしに潜在的な改善の可能性を示す、費用対効果の高いアプローチとして注目されています。オープンエンドの生成環境に焦点を当て、人間のラベリングなしで言語モデルの事実性を向上させるための微調整を提案しています。外部知識ベースとの整合性を通じて事実性を判断し、直接の好み最適化アルゴリズムを利用するなど、NLPの最近のイノベーションを活用しています。このアプローチでは、自動生成された事実性の好み順位から学習を行い、ベンチマークデータセット上の他の戦略と比較して、伝記の生成や医学的質問への回答の事実エラーレートが大幅に低下します。現在の研究では、外部知識ベースやモデルの信頼スコアとの整合性を通じて事実性を判断しています。直接の好み最適化アルゴリズムを用いて微調整を行い、教師付き模倣を超えた目標に焦点を当てています。既存の検索システムまたは新しい検索フリーのアプローチを通じて自動生成された事実性の好み順位から学習を行うことを提案しています。FactScoreなどの自動評価指標、人間の評価者、および推論時間の介入や層ごとのデコーディングとの比較を含めた評価が行われます。このアプローチは、自動生成された事実性の好み順位からの学習が言語モデルの事実性の向上において効果的であることを示しています。微調整されたLlama-2モデルは、伝記の事実エラーレートを58％、医学的な質問に対する事実エラーレートを40％削減しました。人間の評価者は、FactTune-FSモデルをSFTモデルよりもかなり高く評価しています。GPT-4の評価とFactScoreの評価は高い相関関係を示し、FactTune-FSが事実エラーを減らすことに成功していることを示しています。提案された研究では、長文生成を重視しながら言語モデルの事実性を向上させるための効果的な戦略が示されています。外部知識を使用したリファレンスベースの真実性の推定と、モデルの不確実性を利用したリファレンスフリーの推定の2つのアプローチが探究されています。いずれの方法でも、言語モデルの微調整により正しくない事実を一貫して減らすことができます。リファレンスコーパスのゴールドが必要ではない事実性の改善のためのスケーラブルな自己監督戦略を提供するリファレンスフリーのアプローチにより、実験結果は将来の研究の有望な方向を示しており、複数の事実性チューニング方法の組み合わせや大規模なモデルへのアプローチのスケーリングの探求が提案されています。将来の研究では、事実性のチューニングと既存の手法の組み合わせ、例えば事実性チューニングDOLA実験の組み合わせを探求することを推奨しています。事実性の向上のために事実性をブーストするデコーディング技術と事実性チューニング手順を組み合わせることの効果を評価することが提案されています。事実性のチューニングと推論時間の介入などの異なるアプローチを組み合わせることの効果を評価することで、補完的なメカニズムについての示唆が得られるでしょう。原子的な事実を抽出するためのよりシンプルなアプローチや、GPT-4などの大規模なモデルへの事実性チューニングのアプローチを拡大することに向けた調査が提案され、さらなる探求が求められています。

Amazon SageMaker JumpStartを通じてLlama 2 Chat LLMを使用するための最適なプロンプトの実施方法

「Llama 2は、AIの革新の最前線に立ち、洗練されたトランスフォーマー基盤上で開発された先進的な自己回帰言語モデルを具現化しています英語を主要な言語集中として、商業および研究の領域で多様なアプリケーションに対応するようカスタマイズされていますそのモデルパラメータは、驚異的な70億からすばらしい[…]にスケールします」

Learn more about Search Results SFT - Page 2