Search Results SFT

「ChatGPTのようなLLMの背後にある概念についての直感を構築する-パート1-ニューラルネットワーク、トランスフォーマ、事前学習、およびファインチューニング」

「たぶん私だけじゃないと思いますが、1月のツイートで明らかになっていなかったとしても、私は最初にChatGPTに出会ったときに完全に驚きましたその体験は他のどんなものとも違いました…」

アリババの研究者たちは、ChatGPTのような現代のチャットボットの指示に従う能力を活用した、オープンセットの細かいタグ付けツールであるINSTAGを提案しています

ChatGPTのような大規模な言語モデルが指示に従う能力をどのように獲得するのか、考えたことはありますか？さまざまな基礎言語モデルは、監視付きファインチューニング（SFT）を通じてそれを獲得しています。SFTの成功のためには、データセットの多様性と複雑さが重要な要素です。その定性的な分析と定義はより明確にする必要があります。阿里巴巴ダモアカデミーの研究者は、「InsTag」というオープンセットの細かいタガーを提案しています。これは、タスクに関する指示の多様性と複雑性を定義するためのセマンティクスと意図に基づいてSFTデータセット内のサンプルにタグを付けるものです。彼らは、より複雑で多様なデータとともにモデルの能力が向上すると主張しています。研究者はまた、InsTagに基づいたデータセレクターを提案しています。これはオープンソースのデータセットから6,000件の多様で複雑なサンプルを選択し、InsTagで選択されたデータ上でモデルをファインチューニングするものです。彼らは、さまざまなセマンティクスと専門知識をカバーする広範なトレーニングデータが、人間の期待に適切に応え、自然言語で人間の意図を正確に認識し、適切に応答を形式化するために重要であると主張しています。 InsTagは、高性能なチャットボットChatGPTによって強化された自動的な指示タグ付け手法です。これは、ChatGPTに対してクエリにタグを割り当てるように自動的に促すフレームワークです。ChatGPTは、割り当てられた各タグを説明するためにシステマティックなタグの正規化技術を使用します。既存のオープンソースのデータセットにInsTagが適用されると、複雑さと多様性に基づいて詳細に分析されたオープンセットのタグが構築されます。InsTagセレクターによって選択されたデータでファインチューニングされたLLMは、MIT-Benchmarkでより良いパフォーマンスを発揮します。 ChatGPTを使用して意図タグを生成しようとする際、研究者は3つのタイプのノイズを特定しました。出力形式の指示に対するChatGPTの不安定さにより、レキシカルノイズが生じました。具体的すぎるタグは制御されていない粒度を作り出し、ノイズを引き起こします。一部のタグは、ChatGPTのバイアスにより頻繁に一緒に現れ、不正確な相関関係を生じます。これらを解決するために、彼らはフォーマット、意味、関連性などのさまざまな側面を使用してオープンセットのタグ付け結果を正規化しました。まず、特定の設定パラメーター（データセットのスケールに関連するハイパーパラメーターと呼ばれる）未満の頻度で現れるロングテールのタグをフィルタリングしました。すべてのタグは、大文字の影響を避けるために小文字に変換されました。最後に、各タグにステミングを適用しました。ステミングは、接辞を除去することにより、単語の基本形を抽出するための技術です。研究者は、ファインチューニングにLLaMAの13Bバージョンを選択し、他の類似のLLMと比較した結果、彼らのモデルはMIT-Benchでの平均スコア6.44を達成し、すべてのオープンソースの整列したLLMを上回ることを示しています。まとめると、研究者は、彼らの提案したInsTagがLLMの整列におけるクエリの分布のより深い理解のための新しい側面を提供すると述べています。これは、データセレクション以外のさまざまなアプリケーション、例えば包括的な評価やタグベースの自己指示などに拡張される可能性があります。

メタスの新しいテキストから画像へのモデル – CM3leon論文の説明

メタは最近、Stable-Diffusion [2]、Midjourney、またはDALLE [3]のような拡散に基づかない最新のテキストから画像へのモデル、CM3Leon [1]を発表しました少々長いですが、要するに...

ビッグテックと生成AI：ビッグテックが生成AIを制御するのか？

「ビッグテックと生成AIの深まる関係を探求する：これらの巨人はセクターを支配するのか、それともバランスの取れたAIの景観が生み出されるのか？データ、力、イノベーションの相互作用にダイブしてください」

「コンシューマハードウェア上でPythonコーディングのためにLlama2を微調整する方法」

「教師あり微調整と低ランク適応技術によるPythonにおけるLlama2の能力向上」

「振り返って奇妙さに向き合え」

「従来の予測分析は、ほとんどの問題を見るための2つのパラダイムを提供しています：点推定と分類現代のデータサイエンスは主に後者に関心を持ち、多くの問題を…」

スタビリティAIが日本語のStableLMアルファを発表：日本語言語モデルの飛躍的な進化

日本の生成型AIの領域を向上させる重要な一歩として、Stability AIは、Stable Diffusionを開発した先駆的な生成型AI企業として、日本語言語モデル（LM）であるJapanese StableLM Alphaを初めて発表しました。この画期的なローンチは、同社のLMが日本語話者向けに提供される最も優れた公開モデルであるという主張によって注目を集めています。この主張は、他の4つの日本語LMとの包括的なベンチマーク評価によって裏付けられています。この新しく導入されたJapanese StableLM Alphaは、70億のパラメータを持つ印象的なアーキテクチャを誇り、Stability AIの技術進歩への取り組みを証明しています。このモデルは、さまざまな言語タスクに対応できる多目的で高性能なツールです。その優れた性能は、複数のカテゴリーで競合他社を凌駕し、業界のリーダーとしての地位を確立しています。日本語のStableLM Base Alpha 7Bの商業版は、広く認知されているApache License 2.0の下でリリースされる予定です。この専門モデルは、オンラインリポジトリから入手した日本語と英語のテキストの7500億トークンを網羅した巨大なデータセットによる詳細なトレーニングを通じて精巧に作り上げられました。この成果の基盤は、協力的な取り組みにも負うところがあります。Stability AIは、EleutherAI Polyglotプロジェクトの日本チームの専門知識を活用し、Stability AIの日本コミュニティによって作成されたデータセットを活用しています。この共同の取り組みは、Stability AIの開発プロセスの基盤となるEleutherAIのGPT-NeoXソフトウェアの拡張バージョンの活用によってさらに促進されています。並行して行われるイノベーションであるJapanese StableLM Instruct Alpha…

Pythonコード生成のためのLlama-2 7Bモデルのファインチューニング

約2週間前、生成AIの世界はMeta社が新しいLlama-2 AIモデルをリリースしたことによって驚かされましたその前身であるLlama-1は、LLM産業において画期的な存在であり、…

「DPOを使用してLlama 2を微調整する」

はじめに人間のフィードバックからの強化学習（RLHF）は、GPT-4やクロードなどのLLMの最終トレーニングステップとして採用され、言語モデルの出力が人間の期待に合致するようにするために使われます。しかし、これによってRLの複雑さがNLPにもたらされます。良い報酬関数を構築し、モデルに状態の価値を推定するように訓練し、同時に元のモデルからあまり逸脱せずに意味のあるテキストを生成するように注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは常に簡単ではありません。最近の論文「Direct Preference Optimization」（Rafailov、Sharma、Mitchell他）では、既存の方法で使用されるRLベースの目的を、シンプルなバイナリクロスエントロピー損失を直接最適化できる目的に変換することを提案しており、これによりLLMの改善プロセスが大幅に簡素化されます。このブログ記事では、TRLライブラリで利用可能なDirect Preference Optimization（DPO）メソッドを紹介し、さまざまなスタックエクスチェンジポータルの質問に対するランク付けされた回答を含むスタックエクスチェンジのデータセットで最近のLlama v2 7Bパラメータモデルを微調整する方法を示します。 DPO vs PPO 人間の派生した好みをRLを通じて最適化する従来のモデルでは、補助的な報酬モデルを使用し、興味のあるモデルを微調整して、この報酬をRLの仕組みを利用して最大化するようにします。直感的には、報酬モデルを使用して最適化するモデルにフィードバックを提供し、ハイリワードのサンプルをより頻繁に生成し、ローリワードのサンプルをより少なく生成するようにします。同時に、フリーズされた参照モデルを使用して、生成物があまり逸脱せずに生成の多様性を維持し続けるようにします。これは通常、参照モデルを介した全報酬最大化の目的にKLペナルティを追加することで行われ、モデルが報酬モデルをごまかしたり利用したりすることを防ぐ役割を果たします。 DPOの定式化は、報酬モデリングのステップをバイパスし、報酬関数から最適なRLポリシーへの解析的なマッピングを使用して、言語モデルを好みのデータに最適化します。このマッピングは、与えられた報酬関数が与えられた好みのデータとどれだけ合致するかを直感的に測定します。したがって、DPOはRLHFの損失の最適解から始まり、変数の変換を介して参照モデルに対する損失を導出することで、参照モデルのみに対する損失を得ることができます。したがって、この直接的な尤度目的は、報酬モデルやポテンシャルに煩雑なRLベースの最適化を必要とせずに最適化することができます。 TRLのトレーニング方法前述のように、通常、RLHFパイプラインは次の異なるパーツで構成されています：教師あり微調整（SFT）ステップデータに好みのラベルを付けるプロセス好みのデータで報酬モデルをトレーニングするそして、RL最適化ステップ TRLライブラリには、これらのパーツのためのヘルパーが付属していますが、DPOトレーニングでは報酬モデリングとRL（ステップ3と4）のタスクは必要ありません。代わりに、TRLのDPOTrainerにステップ2の好みのデータを提供する必要があります。このデータは非常に特定の形式を持ちます。具体的には、次の3つのキーを持つ辞書です： prompt：テキスト生成の際にモデルに与えられるコンテキストプロンプトです…

ユーザーに扱える以上を提供する

「マイクロソフトの人工知能ファイルは、顧客にセキュリティ上の問題を引き起こしていますか？」

Learn more about Search Results SFT - Page 6