Search Results SFT

HuggingFaceはTextEnvironmentsを紹介します：機械学習モデルと、モデルが特定のタスクを解決するために呼び出すことができる一連のツール（Python関数）の間のオーケストレーターです

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-1024×581.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-03-at-11.55.50-AM-150×150.png”/><p>Supervised Fine-tuning (SFT), Reward Modeling (RM), and Proximal Policy Optimization (PPO) are all part of TRL. In this full-stack library,…

「GPTからMistral-7Bへ：AI会話のエキサイティングな進化」

紹介人工知能の分野では、特に大規模な言語モデルの領域で驚くべき進展が見られています。大規模言語モデルは、人間のようなテキストを生成したり、文書を要約したり、ソフトウェアコードを書いたりすることができます。Mistral-7Bは、英語のテキストとコード生成の能力をサポートする最近の大規模な言語モデルの一つであり、テキスト要約、分類、テキストの補完、コードの補完など、さまざまなタスクに使用することができます。 Mistral-7B-Instructの特徴は、パラメータが少ないにもかかわらず、優れたパフォーマンスを発揮する能力です。ベンチマークの結果によると、このモデルはすべての7Bモデルを凌駕し、さらに13Bチャットモデルとも競争力を持っています。本ブログでは、Mistral 7Bの機能や能力、使用事例、パフォーマンス、モデルの微調整に関する実践的なガイドなどについて探っていきます。学習目標大規模言語モデルとMistral 7Bの動作を理解する Mistral 7Bのアーキテクチャとベンチマーク Mistral 7Bの使用事例とパフォーマンス推論とモデルの微調整のためのコードの詳細な解説この記事はData Science Blogathonの一環として公開されました。大規模言語モデルとは何ですか？大規模言語モデルのアーキテクチャは、トランスフォーマーを使用して構築されており、アテンションメカニズムを使用してデータの長距離依存性を捉えます。複数のトランスフォーマーブロックの層には、マルチヘッドのセルフアテンションやフィードフォワードニューラルネットワークが含まれています。これらのモデルはテキストデータで事前学習され、シーケンス内の次の単語を予測することを学習し、言語のパターンを捉えます。事前学習された重みは特定のタスクで微調整することができます。Mistral 7B LLMのアーキテクチャと、その特徴について詳しく見ていきましょう。 Mistral 7Bのアーキテクチャ Mistral 7Bモデルのトランスフォーマーアーキテクチャは、アテンションメカニズムとキャッシュ戦略を使用して、高いパフォーマンスとメモリ使用量を効率的にバランスさせ、より大きなモデルよりも速度と品質で優れた結果を出します。4096ウィンドウのスライディングウィンドウアテンション（SWA）を使用して、各トークンが直前のトークンの一部に注意を払うことで、より長いシーケンスに対するアテンションを最大化します。特定の隠れ層は、ウィンドウサイズと層の深さによって、入力層のトークンに対して決定された距離からアクセスできます。モデルは、Flash…

「小規模言語モデルにおける意図の調整の解除：Zephyr-7Bの突破を目指した、蒸留された教師あり微調整とAIフィードバックの包括的ガイド」

ZEPHYR-7Bは、AIフィードバック（AIF）データを使用した蒸留直接好み最適化（dDPO）を通じてユーザーの意図整合性に最適化された、小型の言語モデルです。この手法は、人間の注釈なしで意図の整列を効果的に向上させ、7Bパラメータモデルのトップパフォーマンスを実現します。この手法はAIFからの好みデータに依存し、トレーニング時間を最小限に抑え、ファインチューニング中の追加サンプリングは必要ありません。これにより、新たな最先端を樹立しています。研究者は、ChatGPTなどのLLMの普及と、その派生モデルであるLLaMA、MPT、RedPajama-INCITE、Falcon、Llama 2に取り組んでいます。ファインチューニング、コンテキスト、検索補完生成、および量子化の進歩が強調されています。より小さいモデルのパフォーマンスを向上させるための蒸留技術、モデル評価のツールとベンチマークも議論されています。この研究では、ZEPHYR-7BのパフォーマンスをMTBench、AlpacaEval、HuggingFace Open LLM Leaderboardで評価しています。この研究では、精度とユーザーの意図の整列を向上させるために、蒸留教師付きファインチューニング（dSFT）を使用した、より小型のオープンLLMの強化方法について検討しています。それは、人間の注釈なしでLLMを整列させるためにdDPOを導入し、教師モデルからのAIFに頼っています。研究者は、dSFT、AIFデータ、およびdDPOを介したMistral-7Bの整列版であるZEPHYR-7Bを紹介し、人間のフィードバックに整列した70Bパラメーターのチャットモデルと同等のパフォーマンスを示しています。この研究は、LLM開発における意図の整列の重要性を強調しています。この手法では、モデルを高品質のデータでトレーニングするためにdSFTを組み合わせ、応答の好みを最適化するためにdDPOを利用して言語モデルを強化する方法が提案されています。教師モデルからのAIFを使用してユーザーの意図との整列性を改善します。このプロセスでは反復的なセルフプロンプティングを使用してトレーニングデータセットを生成します。その結果得られたZEPHYR-7Bモデルは、dSFT、AIFデータ、およびdDPOを介して達成され、改善された意図の整列性を持つ最先端のチャットモデルを表しています。 7BパラメータモデルであるZEPHYR-7Bは、オープンアクセスのRLHFベースモデルであるLLAMA2-CHAT-70Bを超えて、チャットのベンチマークで新たな最先端を確立しています。AlpacaEvalではGPT-3.5-TURBOとCLAUDE 2と競り合っていますが、数学やコーディングのタスクでは遅れています。7Bモデルの中で、dDPOモデルは優れており、dSFTとXwin-LM dPPOを上回っています。ただし、より大きなモデルは知識集約型のタスクでZEPHYRを上回っています。Open LLM Leaderboardでの評価では、ZEPHYRの多クラス分類タスクにおける強さが示され、ファインチューニング後の思考力と真実性の能力が確認されています。 ZEPHYR-7Bは、意図の整列性を高めるために直接好み最適化を採用しています。この研究は、評価者としてGPT-4を使用する際の潜在的なバイアスを強調し、ユーザーの意図との整列性に対するより小さいオープンモデルの能力を探求することを推奨しています。有害な出力や違法な助言などの安全性に関する考慮事項の欠落について指摘し、この重要な領域における今後の研究の必要性を示しています。この研究では、将来の研究のいくつかの展望が明らかにされています。有害な出力や違法なアドバイスに対する安全性の考慮事項は、まだ探求されていません。より大きな教師モデルが学生モデルのパフォーマンス向上にどのような影響を与えるかを調査することが提案されています。蒸留における合成データの使用は困難ですが、価値ある研究領域として認識されています。ユーザーの意図に合わせるためのより小さいオープンモデルとその能力のさらなる探求は、可能な進歩を目指しており、広範なベンチマークとタスクでZEPHYR-7Bの能力を包括的に評価することが推奨されています。

イェール大学とGoogle DeepMindの研究者は、大規模な言語モデルに対する高度な微調整技術を使用して数学の問題解決の成功を解き明かしました

“`html 最も先進的な大型言語モデル（LLMs）であるGPT-4やPaLM 2でも、数学の問題を解くのは困難です。なぜなら、それには想像力、数理的推論、計算が必要だからです。問題に複数回取り組むことが許可されると、LLMsが正しい答えを見つける可能性はかなり高くなります。したがって、LLMsはすでにこの数学の問題解決の課題を改善する可能性を示しています。例えば、事前学習済みのPaLM 2-Lは、greedy decodingを使用した場合に約33.4％の正確さを達成することができます。しかし、temperature samplingを使用して64の解をサンプリングすると、少なくとも1つの正解（pass@64）が79.4％の確率で得られます（表1）。表1：教師あり解の微調整の結果。トレーニングデータの2つの異なるソースであるMATHデータセットとPRM800Kデータセットを比較しています。この大きな性能の差は、LLMsが正確な答えを生成できる一方で、正しい解と誤った解を区別することが困難であることを示しています。したがって、上記の性能差を縮小するために、彼らはタスク固有の微調整技術を調査して、LLMの解決力と評価力を向上させようとしています。彼らは3つの微調整技術を検討しています：（1）SSFT、教師あり段階的解の微調整。事前学習済みLLMsが出発点として教師あり微調整ステップを受けることで利益を得られるかどうかを調査します。 LLMsを調整して、完全な解答を提供するようにします。（2）解クラスタ再順位付け（SCR）。候補解の再順位付けのための解評価器として生成器を改善し、LLMの解評価能力を向上させます。以前の研究では解のサンプル順位付けまたは再順位付けが行われてきましたが、彼らは多数決の利点と再順位付けを組み合わせる新しい手法を提案し、ランキングのコストを削減します。より具体的には、多数決の初期段階で、数学的等価性に基づいて候補解をいくつかのグループに分類します。さらに多数決の結果をさらに向上させるために、最頻クラスタの解に解評価器を適用します。（3）シーケンシャルマルチタスク微調整。解評価タスクに加えて、LLMの解生成タスクの性能向上にも関心があり、解評価タスクのトレーニング目標がモデルの解生成に役立つかどうかを判断します。これを実現するために、解評価タスクを自然言語生成問題としてフレーム化し、そのトレーニング目標が解生成モデルに有益な監督信号を提供できるようにします。さらに具体的には、モデルを3つのステージで調整します：（1）生成器として（SSFT）、（2）解評価器として（SCR）、および（3）再び生成器として（SSFT）。彼らは、難しいMATHデータセット上でPaLM 2-S*とPaLM 2-LのようなPaLM 2の小さな形式と大きな形式を使用して包括的な研究を行い、以下の結論を示しています： • 微細な、適切なフォーマットの解答によっては、SSFTがより良いパフォーマンスを発揮するため、ステップバイステップの解の品質とスタイルは洗練されたモデルに大きな影響を与えることがあります。 • 最も一般的な解クラスタのみを再順位付けすることで、すべての解を再順位付けするよりも性能が向上し、演算効率も向上します。これが将来の作業におけるより良い標準的な方法であると考えられます。 • 解生成モデルの性能を向上させるために、解生成と評価の両方のタスクでモデルをトレーニングする利点を示し、評価タスクの学習信号が生成モデルにとって有益であるという成功した試みを示しています。教師あり解微調整のみよりも、彼らの提案するマルチタスクシーケンシャル微調整は解生成モデルのパフォーマンスをより効果的に向上させることができます。…

「Hugging Face AutoTrainを使用して、LLM（Language Model）を微調整する方法」

このツールを使えば、簡単に私たちのLLM能力を向上させることができます

language models

QLoRA：16GBのGPUで大規模な言語モデルの訓練を行う

「我々は、モデルのための量子化などの体重減少技術と、パラメータ効率の良いファインチューニング技術であるLoRAを組み合わせる予定ですこの組み合わせの結果として生まれるのが、QLoRAです」

NVIDIA AIがSteerLMを発表：大規模言語モデル（LLMs）の推論中にユーザーが応答をカスタマイズできる新たな人工知能（AI）メソッド

人工知能の絶えず進化する風景の中で、開発者やユーザーの双方を悩ませる課題があります: 大規模言語モデルからよりカスタマイズされたニュアンス豊かな応答が求められる需要です。Llama 2などのこれらのモデルは、人間のようなテキストを生成できますが、個々のユーザーの固有の要求に対応するために本当に柔軟な回答が必要です。現在のアプローチである教師あり fine-tuning（SFT）や人間のフィードバックからの強化学習（RLHF）には限界があり、機械的で複雑な回答につながる可能性があります。 NVIDIA Researchは、これらの課題に対応する画期的な手法であるSteerLMを発表しました。SteerLMは、大規模言語モデルの応答をカスタマイズする革新的かつユーザーセントリックなアプローチを提供し、ユーザーがモデルの振る舞いを指針とする主要属性を定義することにより、より多くの制御を提供します。 SteerLMは、大規模言語モデルのカスタマイズを簡素化する4段階の教師あり fine-tuningプロセスを介して動作します。まず、人間によって注釈付けされたデータセットを使用してAttribute Prediction Modelをトレーニングし、有用性、ユーモア、創造性などの品質を評価します。次に、このモデルを使用してさまざまなデータセットに注釈を付け、言語モデルがアクセスできるデータのバラエティを向上させます。その後、SteerLMは属性条件付きの教師あり fine-tuningを使用して、指定された属性（品質など）に基づいて応答を生成するようにモデルをトレーニングします。最後に、ブートストラップトレーニングを通じてモデルを洗練し、多様な応答を生成し、最適な合わせに向けて微調整します。 SteerLMの素晴らしい機能の一つは、リアルタイムの調整可能性です。これにより、ユーザーは推論中に属性を微調整し、その場で特定のニーズに合わせることができます。この驚くべき柔軟性により、ゲーミングや教育、アクセシビリティなど、さまざまな潜在的な応用が可能となります。SteerLMにより、企業は1つのモデルから個別のアプリケーションごとにモデルを再構築する必要なく、複数のチームに対してパーソナライズされた機能を提供することができます。 SteerLMのシンプルさとユーザーフレンドリーさは、メトリクスとパフォーマンスにも明らかです。実験では、SteerLM 43BがChatGPT-3.5やLlama 30B RLHFなどの既存のRLHFモデルを凌駕し、Vicunaベンチマークで優れた結果を示しました。インフラやコードの最小限の変更で簡単な fine-tuningプロセスを提供することで、SteerLMは手間をかけずに優れた結果を提供し、AIカスタマイズの分野での重要な進展となっています。 NVIDIAは、SteerLMをNVIDIA NeMoフレームワーク内のオープンソースソフトウェアとして公開することで、高度なカスタマイズを民主化する大きな一歩を踏み出しています。開発者は、コードにアクセスしてこの技術を試す機会を得ることができます。Hugging Faceなどのプラットフォームで利用できるカスタマイズされた13B Llama 2モデルに関しても、詳細な手順が提供されています。大規模言語モデルが進化し続ける中で、SteerLMのようなソリューションの必要性はますます重要となります。SteerLMを使用することで、よりカスタマイズ可能で適応性のあるAIシステムを提供し、ユーザーの価値観と一致した本当に助けになるAIを実現する方向に、AIコミュニティは大きな一歩を踏み出します。

「AIの民主化：MosaicMLがオープンソースLLM運動に与える影響」

最近、私たちはオープンソースの大規模言語モデル（LLM）の作成に関する多くの最新の研究を概観しましたこのすべての研究の中で、共通のフレームワークを使用してモデルが作成されますが、そのうちのいくつかは…

バイトダンスとキング・アブドゥッラー科学技術大学のAI研究者が、静止したポートレート写真の髪の毛を揺らすための新しいフレームワークを発表します

髪は人間の身体の中でも最も印象的な特徴の1つであり、そのダイナミックな特性によってシーンが生き生きと表現されます。研究により、ダイナミックな要素が静止画像よりも強い魅力と興味を引き起こすことが一貫して証明されています。TikTokやInstagramのようなソーシャルメディアプラットフォームでは、人々が写真を魅力的で芸術的に魅力的にすることを望んで、広範なポートレート写真の共有が日常的に行われています。この動機は、静止画像内の人間の髪をアニメーション化する領域の探索を燃料としており、鮮やかで美しく景観的な視覚体験を提供することを目指しています。この分野での最新の進化により、静止画像に水、煙、火などの流動物質をアニメーション化する手法が導入されました。しかし、これらの手法は実生活の写真での人間の髪の複雑な性質をほとんど無視しています。この記事では、ポートレート写真内で人間の髪の芸術的な変換に焦点を当て、その写真をシネマグラフに変換することを目指しています。シネマグラフは、プロの写真家、広告主、アーティストの間で好まれる革新的な短いビデオ形式です。デジタル広告、ソーシャルメディア投稿、ランディングページなど、さまざまなデジタルVoAGIで利用価値があります。シネマグラフの魅力は、静止画像と動画の強みを融合させる能力にあります。シネマグラフの一部分には、短いループで繰り返し動作する微妙な動きがあり、残りの部分は静止しています。この静止と動きの要素の対比が、鑑賞者の注意を効果的に引きつけます。ポートレート写真をシネマグラフに変換することで、微妙な髪の動きを含めて、写真の魅力を高めることを目指しています。これにより、より魅力的で魅力的な視覚体験が生まれます。既存の手法や商用ソフトウェアは、入力ビデオから高品質なシネマグラフを生成するために、一部のビデオ領域を選択的に凍結するという手法を採用しています。残念ながら、これらのツールは静止画像の処理には適していません。対照的に、静止画像のアニメーション化に関心が高まっています。これらの手法の多くは、雲や水、煙などの流体要素をアニメーション化することに焦点を当ててきました。しかし、繊維状の材料から構成される髪のダイナミックな振る舞いは、流体要素と比較して独特の課題を提供します。広範な注目を集めている流体要素のアニメーション化とは異なり、実際のポートレート写真での人間の髪のアニメーション化は比較的未開拓の領域です。静止したポートレート写真で髪をアニメーション化することは、髪の構造とダイナミクスの複雑さにより、困難を伴います。人間の体や顔の滑らかな表面とは異なり、髪は数十万もの個別のコンポーネントから構成され、複雑で均一ではありません。この複雑さにより、髪内には髪の中での複雑な運動パターンや頭との相互作用が存在します。カメラアレイと高速カメラを使用するなど、髪のモデリングのための特殊な手法はありますが、コストと時間がかかるため、実世界での髪のアニメーションには制約があります。本記事で紹介する論文は、静止したポートレート写真内で髪を自動的にアニメーション化するためのAI手法を紹介しており、ユーザーの介入や複雑なハードウェアセットアップは不要です。この手法の背後にある考えは、実際のポートレートビデオ内の個々の髪のストランドとそれらの動きに対する人間の視覚システムの感度が、仮想環境内の合成ストランドと比較して低下していることです。提案されている解決策は、個々のストランドではなく「髪の房」をアニメーション化することで、視覚的に魅力的な視聴体験を創造することです。これを実現するために、本論文では髪の房のアニメーションモジュールを紹介し、効率的かつ自動化された解決策を提供しています。以下に、このフレームワークの概要を示します。この文脈での主な課題は、これらの髪の房をどのように抽出するかです。髪のモデリングなどの関連する研究では、主に髪の領域全体の抽出を対象としていますが、これは目的と異なります。意味のある髪の房を抽出するために、研究者は髪の房抽出をインスタンスセグメンテーション問題としてフレーム化し、静止画像内の個々のセグメントが髪の房に対応するようにしました。この問題定義を採用することで、研究者はインスタンスセグメンテーションネットワークを活用して髪の房の抽出を容易にしました。これにより、髪の房の抽出問題が簡素化されるだけでなく、効果的な抽出のために高度なネットワークの使用が可能になります。さらに、本論文では、ネットワークのトレーニングのための実際のポートレート写真を含む髪の房データセットの作成と、特定された髪の房のための正解注釈のためのセミアノテーションスキームの作成を紹介しています。以下の図には、本論文と先進的な手法を比較したいくつかのサンプル結果が報告されています。これは、美しい動きを持つ髪の毛を使って、静止したポートレートをシネマグラフに変換するための新しいAIフレームワークの要約でした。目立つ欠点なく魅力的なモーションを与えることができます。興味がある方は、以下に引用されたリンクを参照してください。

Uncategorized

このAIニュースレターはあなたが必要なものです #68

今週は、マルチモーダルの能力を持つ GPT-4 に対抗する候補として、新しいオープンソースのマルチモーダルモデルである LLaVA v1.5 の登場を目撃しましたそれはシンプルな...

Learn more about Search Results SFT - Page 4