Search Results RLHF

「線形代数からディープラーニングまで 7冊の本（2023年冬のアップデート）」

「Towards Data Science」への初めての投稿では、私は線形代数から現代のディープラーニングまで、あらゆる内容をカバーする私のお気に入りの機械学習の本について書きました

Amazon SageMaker JumpStartを通じてLlama 2 Chat LLMを使用するための最適なプロンプトの実施方法

「Llama 2は、AIの革新の最前線に立ち、洗練されたトランスフォーマー基盤上で開発された先進的な自己回帰言語モデルを具現化しています英語を主要な言語集中として、商業および研究の領域で多様なアプリケーションに対応するようカスタマイズされていますそのモデルパラメータは、驚異的な70億からすばらしい[…]にスケールします」

「大型言語モデルを使用して開発するために知っておくべきすべて」

この記事の目的は、簡単な言葉でLLMベースのアプリケーション開発に必要な主要なテクノロジーを説明することですさらなる学習のために多くの有用なリンクも提供されていますそれは行く...

マイクロソフトの研究者たちは、FP8混合精度トレーニングフレームワークを公開しました：大規模な言語モデルのトレーニング効率を超高速化します

大型言語モデルは、言語生成と理解の能力において以前に類を見ない優れた能力を示しており、論理学、数学、物理学、他の領域の先進に道を開いています。ただし、LLMのトレーニングは非常に高額です。たとえば、540Bモデルをトレーニングするには、PaLMには6,144個のTPUv4チップが必要であり、GPT-3175Bは事前トレーニングに数千ペタフロップ/秒の計算が必要です。これは、特に次世代の非常に知的なモデルを拡大するために、LLMのトレーニングコストを低くする必要性を示しています。コストを節約するための最も有望なアプローチの1つは、低精度トレーニングです。このアプローチは、高速な処理、少ないメモリ使用量、最小限の通信オーバーヘッドを提供します。現在のほとんどのトレーニングシステム（Megatron-LM、MetaSeq、Colossal-AIなど）は、デフォルトでFP16/BF16のミックス精度またはFP32の完全精度を使用してLLMをトレーニングします。大規模なモデルの場合、これは完全な精度を得るためのオプションですが、FP8はNvidia H100 GPUの登場により、次世代の低精度表現のデータ型として台頭しています。既存の16ビットと32ビットの浮動小数点ミックス精度トレーニングと比較して、FP8には理論的に2倍の高速化、50％から75％のメモリコスト削減、50％から75％の通信コスト削減の潜在能力があります。これらの結果は、次世代の基礎となるモデルのスケーリングに非常に有望です。残念ながら、FP8トレーニングへのサポートはもっと少なく、時間的に間隔のあるものが必要です。Nvidia Transformer Engineは唯一の実用的なフレームワークですが、GEMM計算にはFP8のみを使用し、マスターウェイトとグラデーションは極めて正確なFP16またはFP32のように維持します。これにより、エンドツーエンドのパフォーマンス向上、メモリの節約、および通信コストの節約は比較的少なくなり、FP8のフルポテンシャルは隠されてしまいます。 Microsoft AzureとMicrosoft Researchの研究者は、この問題を解決するためにLLMのトレーニングに非常に効率的なFP8ミックス精度フレームワークを提供しています。主なコンセプトは、ビッグモデルのトレーニングプロセス中に、計算、ストレージ、通信において低精度FP8を活用することです。これにより、以前のフレームワークと比較して、システム要件を大幅に削減することができます。より具体的には、彼らはFP8を使用して最適化ステージを3つ作成し、オプティマイザ、分散並列トレーニング、8ビットの集合通信を段階的に導入します。より大きな最適化レベルは、LLMのトレーニングプロセスでより多くのFP8が使用されたことを示しています。さらに、彼らのシステムはテンソル、パイプライン、およびシーケンスの並列性を含むFP8低ビット並列性を提供します。これにより、数千のGPUでトレーニングされたGPT-175Bなどの大規模なトレーニングが可能になり、次世代の低精度並列トレーニングの扉が開かれます。 FP8を使用したLLMのトレーニングには、作業が必要です。データオーバーフローやアンダーフローなどの問題に起因する固有のダイバージェンスや数値不安定性などの問題が発生します。これらの問題に対処するために、彼らは2つの方法を提案しています。情報の損失を防ぐための自動スケーリングと、重み、勾配、およびオプティマイザーの状態などのパラメータにおけるデータ精度の影響を分離するための精度切り離しです。最初の方法は、非精度に敏感でないコンポーネントの精度を低下させ、テンソルのスケーリング係数の動的調整により、FP8データフォーマット表現範囲内の勾配値を保持することです。これにより、全体の通信中にアンダーフローやオーバーフローの発生が防止されます。彼らは、検証のために監督付き微調整と事前トレーニングを含むGPTスタイルのモデルトレーニングに提案されたFP8低精度フレームワークを使用します。彼らのFP8手法をよく使用されるBF16ミックス精度トレーニングアプローチと比較すると、実験結果は、実メモリ使用量の27%〜42%の減少や、重み勾配通信オーバーヘッドの63%〜65%の著しい減少など、重要な改善を示しています。FP8でトレーニングされたモデルは、学習率や重み減衰などのハイパーパラメータの調整なしに、BF16の高精度を使用するモデルと同等の性能を示します。GPT-175Bモデルのトレーニングでは、彼らのFP8ミックス精度フレームワークがH100 GPUプラットフォーム上で21%少ないメモリを使用し、TEよりも17%短いトレーニング時間を節約することに注目すべきです。図1：クラスター内のNvidia H100 GPU with 80G RAMを使用した場合に達成可能な最大モデルサイズの比較。当社のFP8混合精度トレーニング方法とより一般的なBF16方法を使用しています。さらに重要なことは、Fig. 1に示すようにモデルのスケールが増加すると、低精度のFP8を使用することで得られるコスト削減をさらに向上させることができることです。事前学習されたLLMsをエンドタスクとユーザーの好みにより適合させるために、彼らは指示の微調整とヒューマンインプットによる強化学習にFP8混合精度を使用しています。特に、彼らは公開されているユーザー共有の指示に従うデータを使用して事前学習済みモデルを微調整します。彼らのFP8混合精度で調整されたモデルは、BF16の半精度を使用したモデルと比較して、AlpacaEvalとMT-Benchベンチマークで同様のパフォーマンスを発揮します。さらに、FP8混合精度はトレーニング中に多くのモデルをロードする必要があるRLHFにおいて非常に有望です。人気のあるRLHFフレームワークであるAlpacaFarmは、トレーニング中にFP8を使用することで、モデルの重量を46%減少させ、オプティマイザの状態のメモリ使用量を62%削減することができます。これは、彼らのFP8低精度トレーニングアーキテクチャの柔軟性と適応性をより一層示しています。彼らが将来の世代のLLM向けのFP8低精度トレーニングの発展に貢献している内容は以下の通りです。• FP8による混合精度トレーニングのための新しいフレームワーク。このフレームワークは使いやすく、8ビットの重み、勾配、オプティマイザ、および分散トレーニングを段階的に解除します。現在の16/32ビット混合精度の代替として、ハイパーパラメータとトレーニングレシピを変更するだけで、この8ビットフレームワークに簡単に切り替えることができます。また、数行のコードで8ビット低精度トレーニングを可能にするPytorchの実装も提供しています。新しいFP8トレーニングされたGPTスタイルモデル。彼らは提案されたFP8スキームの能力を、7Bから175Bパラメータのモデルに適用することで示しています。彼らは、テンソル、パイプライン、シーケンスの並列処理をFP8に対応させ、大規模な基礎モデルのトレーニングにFP8を使用することを可能にしています。最初のFP8…

データサイエンスのスキルセットを拡大するために次のステップを踏みましょう

効果的なストーリーテリングから戦略的なキャリアプランニングまで、データサイエンスのキャリアを進めるために必要なスキルは多岐に渡り、ますます学際的になっています例えば、統計学や…

HuggingFaceはTextEnvironmentsを紹介します：機械学習モデルと、モデルが特定のタスクを解決するために呼び出すことができる一連のツール（Python関数）の間のオーケストレーターです

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-1024×581.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-150×150.png”/><p>Supervised Fine-tuning (SFT), Reward Modeling (RM), and Proximal Policy Optimization (PPO) are all part of TRL. In this full-stack library,…

Amazon SageMaker JumpStartを使用した対話型ビジュアル言語処理

ビジュアル言語処理（VLP）は生成AIの最前線にあり、言語知能、ビジョン理解、処理を包括するマルチモーダル学習の進展を推進しています大規模な言語モデル（LLM）と大量のマルチモーダリティデータで訓練された対照的な言語-画像プレトレーニング（CLIP）との組み合わせにより、ビジュアル言語モデル（VLM）は特に画像キャプショニングなどのタスクに優れた能力を示しています

UCバークレーとスタンフォード大学の研究者が、複数の教師からの報酬を学習するための人工知能フレームワークである「Hidden Utility Bandit（HUB）」を紹介しました

強化学習（RL）において、学習プロセスに人間からのフィードバックを効果的に統合することは、重要な課題として浮上しています。特に、複数の教師を扱う場合には、報酬学習においてこの課題が特に顕著となります。RLHFシステムにおける教師の選択にまつわる複雑さは、革新的なHUB（未知のベータを持つ人間とのループ）フレームワークを提案する研究者によって解決されました。このフレームワークは、教師の選択プロセスを効率化し、それによりRLHFシステム全体の学習成果を向上させることを目指しています。既存のRLHFシステム内の手法は、学習効用関数の複雑さを効率的に管理する上で制限があります。この制約から、教師の選択に対するより洗練された総合的なアプローチが必要であることが浮き彫りになっています。HUBフレームワークは、RLHFパラダイム内での教師の任命を取り扱うための構造化されたシステム的アプローチを提供することで、この課題に対処する解決策として登場しました。従来の手法とは異なり、教師への積極的なクエリに重点を置くことで、より深い学習効用関数の探索が可能となり、複数の教師を扱う複雑なシナリオでも洗練された推定値を得ることができます。 HUBフレームワークの核となるのは、教師の選択と学習目標の最適化を統合した部分オブザーバブルマルコフ決定過程（POMDP）としての機能です。この統合は、教師の選択だけでなく、学習目標も最適化するためのものです。その効果的な点は、教師への積極的なクエリによって、学習効用関数のより緻密な理解が可能になり、それによって学習効用関数の推定の精度が向上することです。このPOMDPベースの手法を組み込むことによって、HUBフレームワークは、複数の教師からの学習効用関数の複雑さを巧みに扱い、最終的には学習効用関数の推定の精度とパフォーマンスを向上させることができます。 HUBフレームワークの強みは、多様な現実世界のドメインでの実践的な適用性に最も表れています。論文の推奨やCOVID-19ワクチンのテストといった領域での包括的な評価を通じて、このフレームワークの優位性が輝きます。論文の推奨の領域では、学習成果を効果的に最適化する能力がフレームワークの適応性と実用性を示しています。同様に、COVID-19ワクチンのテストでの成功した利用は、緊急で複雑な課題に対処する可能性を示しており、これにより医療や公衆衛生の進歩に寄与しています。結論として、HUBフレームワークはRLHFシステムにおいて重要な貢献です。その体系的かつ構造化されたアプローチは、教師の選択プロセスを効率化するだけでなく、その選択の背後にある意思決定の戦略的重要性を強調しています。特定の文脈に最も適した教師を選択する重要性を重視するフレームワークとして、HUBフレームワークはRLHFシステムの総合的なパフォーマンスと効果を向上させるための重要なツールとなります。様々なセクターでのさらなる発展と応用の可能性は、AIと機械学習に基づくシステムの将来に対する有望な兆しとなっています。

「小規模言語モデルにおける意図の調整の解除：Zephyr-7Bの突破を目指した、蒸留された教師あり微調整とAIフィードバックの包括的ガイド」

ZEPHYR-7Bは、AIフィードバック（AIF）データを使用した蒸留直接好み最適化（dDPO）を通じてユーザーの意図整合性に最適化された、小型の言語モデルです。この手法は、人間の注釈なしで意図の整列を効果的に向上させ、7Bパラメータモデルのトップパフォーマンスを実現します。この手法はAIFからの好みデータに依存し、トレーニング時間を最小限に抑え、ファインチューニング中の追加サンプリングは必要ありません。これにより、新たな最先端を樹立しています。研究者は、ChatGPTなどのLLMの普及と、その派生モデルであるLLaMA、MPT、RedPajama-INCITE、Falcon、Llama 2に取り組んでいます。ファインチューニング、コンテキスト、検索補完生成、および量子化の進歩が強調されています。より小さいモデルのパフォーマンスを向上させるための蒸留技術、モデル評価のツールとベンチマークも議論されています。この研究では、ZEPHYR-7BのパフォーマンスをMTBench、AlpacaEval、HuggingFace Open LLM Leaderboardで評価しています。この研究では、精度とユーザーの意図の整列を向上させるために、蒸留教師付きファインチューニング（dSFT）を使用した、より小型のオープンLLMの強化方法について検討しています。それは、人間の注釈なしでLLMを整列させるためにdDPOを導入し、教師モデルからのAIFに頼っています。研究者は、dSFT、AIFデータ、およびdDPOを介したMistral-7Bの整列版であるZEPHYR-7Bを紹介し、人間のフィードバックに整列した70Bパラメーターのチャットモデルと同等のパフォーマンスを示しています。この研究は、LLM開発における意図の整列の重要性を強調しています。この手法では、モデルを高品質のデータでトレーニングするためにdSFTを組み合わせ、応答の好みを最適化するためにdDPOを利用して言語モデルを強化する方法が提案されています。教師モデルからのAIFを使用してユーザーの意図との整列性を改善します。このプロセスでは反復的なセルフプロンプティングを使用してトレーニングデータセットを生成します。その結果得られたZEPHYR-7Bモデルは、dSFT、AIFデータ、およびdDPOを介して達成され、改善された意図の整列性を持つ最先端のチャットモデルを表しています。 7BパラメータモデルであるZEPHYR-7Bは、オープンアクセスのRLHFベースモデルであるLLAMA2-CHAT-70Bを超えて、チャットのベンチマークで新たな最先端を確立しています。AlpacaEvalではGPT-3.5-TURBOとCLAUDE 2と競り合っていますが、数学やコーディングのタスクでは遅れています。7Bモデルの中で、dDPOモデルは優れており、dSFTとXwin-LM dPPOを上回っています。ただし、より大きなモデルは知識集約型のタスクでZEPHYRを上回っています。Open LLM Leaderboardでの評価では、ZEPHYRの多クラス分類タスクにおける強さが示され、ファインチューニング後の思考力と真実性の能力が確認されています。 ZEPHYR-7Bは、意図の整列性を高めるために直接好み最適化を採用しています。この研究は、評価者としてGPT-4を使用する際の潜在的なバイアスを強調し、ユーザーの意図との整列性に対するより小さいオープンモデルの能力を探求することを推奨しています。有害な出力や違法な助言などの安全性に関する考慮事項の欠落について指摘し、この重要な領域における今後の研究の必要性を示しています。この研究では、将来の研究のいくつかの展望が明らかにされています。有害な出力や違法なアドバイスに対する安全性の考慮事項は、まだ探求されていません。より大きな教師モデルが学生モデルのパフォーマンス向上にどのような影響を与えるかを調査することが提案されています。蒸留における合成データの使用は困難ですが、価値ある研究領域として認識されています。ユーザーの意図に合わせるためのより小さいオープンモデルとその能力のさらなる探求は、可能な進歩を目指しており、広範なベンチマークとタスクでZEPHYR-7Bの能力を包括的に評価することが推奨されています。

CMU（カーネギーメロン大学）およびNYU（ニューヨーク大学）の研究者たちは、大規模言語モデル（LLM）を用いたゼロショット時系列予測のための人工知能メソッド「LLMTime」を提案しています

“`html 他のテキストや音声、ビデオなどのシーケンスモデリングの問題といくつかの類似点があるにもかかわらず、時系列データは2つの特徴があり、特に困難であるとされています。集計された時系列データセットには、しばしば異なるソースからのシーケンスが含まれ、場合によっては欠損値があります。これは、通常、均一な入力スケールとサンプルレートを持つビデオや音声とは対照的です。さらに、気象情報や金融データなどの多くの時系列予測アプリケーションでは、通常、情報の一部しか含まれていない観測からの外挿が必要です。これにより、正確なポイント予測が非常に困難になり、不確実性の推定がますます重要になります。時系列モデリングのための事前学習は頻繁には使用されません。事前学習のデータセットが利用しやすくないためです。ただし、大規模な事前学習は、ビジョンとテキストの大規模ニューラルネットワークのトレーニングの重要な要素となっており、パフォーマンスがデータの利用可能性に直接比例するようになっています。そのため、ARIMAや線形モデルなどの基本的な時系列手法の方が、一般的なベンチマークではディープラーニング手法よりも頻繁に優れたパフォーマンスを示しています。著者は、大規模な言語モデル（LLM）が従来の手法の明確なバイアスと現代の深い理解の複雑な表現学習と生成能力とのギャップを埋める可能性があることを示しています。 LLMを事前学習済みモデルとして連続的な時系列予測アプリケーションに使用するために、研究者らは「LLMTIME2」という非常にシンプルなアプローチを示しています（図1に概説）。この手法では、時系列予測をテキストの次のトークン予測として扱い、時系列を数値の文字列として表現することで、頑健な事前学習済みモデルや確率的な機能（確率評価やサンプリングなど）を適用することが可能になります。彼らは(1)時系列を数値の文字列として効率的にエンコードする方法、および(2)離散的なLLM分布を連続的な確率密度に変換する方法を提供しています。これにより、多様な複雑な分布を記述することができ、高いパフォーマンスが達成できます。これらの戦略を使用することで、他のモデルが使用するダウンストリームデータを変更することなく、LLMTIMEがさまざまな問題に対して特化した時系列手法を上回るか匹敵することがわかりました。図1: 大規模言語モデル（LLM）を使用して、研究者らは、数値をテキストとしてエンコードし、テキストの補完としての潜在的な外挿を選択する時系列予測手法「LLMTIME」を提案しています。ターゲットデータセットに対してトレーニングされていない（つまり、ゼロショット）の場合でも、LLMTIMEはいくつかのよく知られた時系列アルゴリズムを上回ることができます。基本となるベースモデルの強さは、LLMTIMEのパフォーマンスと共にスケールすることに注意が必要です。RLHFなどのアラインメントを経るモデルはスケーリングトレンドに従わないことも注目すべきです。たとえば、セクション6では、GPT-4のパフォーマンスがGPT-3よりも悪いことが示されています。 LLMTIMEのゼロショットの性質には、次のような潜在的な利点があります：（1）LLMsのシンプルな適用を可能にし、ファインチューニング手順の専門知識やこれらの手続きに必要な大量の計算リソースの必要性を排除します。（2）トレーニングやファインチューニングに対して少ない情報を持つデータが限られた状況にも適しています。（3）広範な事前学習済みLLMsのパターン抽出能力を利用することで、特殊な時系列モデルの作成に必要なかなりの時間、努力、およびドメイン固有の専門知識を回避できます。彼らは、LLMsが単純または繰り返しのシーケンスに好みを示し、これらのバイアスが時系列の重要な特徴（季節性など）と一致していることを示し、LLMTIMEの優れたパフォーマンスの理由を理解するために詳しく調査しています。これらのバイアスに加えて、LLMsは多様な分布を表現し、容易に欠損データに対応することもできます。それは、時系列に特に役立ちます。彼らはまた、LLMsが追加の副次的情報を問い合わせたり、LLMsに予測の正当性を説明させたりすることが可能になる方法を示しています。最後に彼らは、パフォーマンスが大きさと共に向上する傾向にあること、ポイント予測の品質も不確実性表現の品質が向上すること、一般的に魅力的な予測性能の増大に加えて、GPT-4の不確実性キャリブレーションがGPT-3よりも悪いことを発見しました。これは、RLHFなどの介入の結果である可能性があります。 “`

Learn more about Search Results RLHF - Page 5