Search Results MPT

Pythonコード生成のためのLlama-2 7Bモデルのファインチューニング

約2週間前、生成AIの世界はMeta社が新しいLlama-2 AIモデルをリリースしたことによって驚かされましたその前身であるLlama-1は、LLM産業において画期的な存在であり、…

「組み込まれた責任あるAIプラクティスを持つ大規模言語モデル（LLM）におけるプロンプトエンジニアリングの進化トレンド」

編集者の注釈：Jayachandran RamachandranとRohit Srochは、この8月22日から23日に開催されるODSC APACのスピーカーですぜひ彼らのトーク「ビルトインの責任あるAIプラクティスを備えた大規模言語モデル（LLM）のプロンプトエンジニアリングの進化するトレンド」をチェックしてください！Transformerアーキテクチャの登場は、確かに自然言語処理の分野を革命化しました...

APAC 2023

PageRankによる大規模グラフの分析

ランキングは機械学習において重要な問題です与えられたドキュメントの集合に対して、特定の基準に基づいてそれらを特定の順序で並べることが目標ですランキングは情報検索で広く使用されています…

Langchain、Weviate、およびStreamlitを使用してカスタムAIベースのチャットボットを構築する

「複数の組織がカスタマイズされたLLMを構築するために競争している中で、私によく聞かれる共通の質問は、このプロセスを効率化するためのツールは何があるのかということですこの記事では、私がどのように...を紹介します」

マルチモーダル言語モデルの解説：ビジュアル指示の調整

「LLMは、多くの自然言語タスクでゼロショット学習とフューショット学習の両方で有望な結果を示していますしかし、LLMは視覚的な推論を必要とするタスクにおいては不利です...」

「Amazon SageMakerに展開された生成AIを使用して創造的な広告を生成する」

創造的な広告は、生成AI（GenAI）によって革命を起こす可能性がありますGenAIモデルを再トレーニングし、テキストのプロンプト（シーンやモデルによって生成されるオブジェクトを説明する文）など、モデルにいくつかの入力を提供することで、製品写真などの新しい画像の幅広いバリエーションを作成できるようになりました

「🤗 Transformersを使用してBarkを最適化する」

🤗 Transformersは、ドメインやタスクにわたる最新の最先端（SoTA）モデルを提供しています。これらのモデルから最高のパフォーマンスを引き出すには、推論速度とメモリ使用量を最適化する必要があります。 🤗 Hugging Faceエコシステムは、このような最適化ツールを提供し、ライブラリ内のすべてのモデルに一括して適用することができる簡単かつ使いやすいものです。これにより、わずか数行のコードでメモリの使用量を減らし、推論を改善することができます。このハンズオンチュートリアルでは、🤗 Transformersでサポートされているテキスト音声合成（TTS）モデルであるBarkを、3つのシンプルな最適化に基づいて最適化する方法を実演します。これらの最適化は、🤗エコシステムのTransformers、Optimum、Accelerateライブラリにのみ依存しています。このチュートリアルは、最適化されていないモデルとそのさまざまな最適化のベンチマークを行う方法をデモンストレーションするものでもあります。説明の少ないがコードが含まれている、より簡略化されたバージョンのチュートリアルは、関連するGoogle Colabを参照してください。このブログ投稿は次のように構成されています：目次 Barkアーキテクチャのリマインダー異なる最適化手法の概要とその利点ベンチマーク結果のプレゼンテーション Barkは、suno-ai/barkで提案された、トランスフォーマーベースのテキスト音声合成モデルです。音声、音楽、背景音、シンプルな効果音など、さまざまなオーディオ出力を生成することができます。さらに、笑い声、ため息、泣き声など、非言語コミュニケーションの音も生成することができます。 Barkは、v4.31.0以降の🤗 Transformersで利用可能です！ Barkで遊んでその能力を発見することができます。 Barkは4つの主要なモデルで構成されています： BarkSemanticModel（または「テキスト」モデルとも呼ばれる）：トークン化されたテキストを入力とし、テキストの意味を捉えるセマンティックなテキストトークンを予測する因果自己回帰トランスフォーマーモデルです。 BarkCoarseModel（または「粗い音響」モデルとも呼ばれる）：BarkSemanticModelモデルの結果を入力とし、EnCodecに必要な最初の2つのオーディオコードブックを予測する因果自己回帰トランスフォーマーモデルです。 BarkFineModel（「細かい音響」モデル）：非因果オートエンコーダートランスフォーマーで、前のコードブック埋め込みの合計に基づいて最後のコードブックを反復的に予測します。 EncodecModelからすべてのコードブックチャネルを予測した後、Barkはそれを使用して出力オーディオ配列をデコードします。…

数値計算のための二分法の使用方法

コンピュータ科学と数学のサブフィールドである数値計算は、コンピュータを用いた数値計算手法とアルゴリズムを用いて数学の問題を解決することに焦点を当てていますこれは…

「HaystackにおけるRAGパイプラインの拡張 DiversityRankerとLostInTheMiddleRankerの紹介」

最近の自然言語処理（NLP）と長文質問応答（LFQA）の進歩は、わずか数年前にはまるでSFの世界から来たようなものだと思われていたでしょう誰...

「DPOを使用してLlama 2を微調整する」

はじめに人間のフィードバックからの強化学習（RLHF）は、GPT-4やクロードなどのLLMの最終トレーニングステップとして採用され、言語モデルの出力が人間の期待に合致するようにするために使われます。しかし、これによってRLの複雑さがNLPにもたらされます。良い報酬関数を構築し、モデルに状態の価値を推定するように訓練し、同時に元のモデルからあまり逸脱せずに意味のあるテキストを生成するように注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは常に簡単ではありません。最近の論文「Direct Preference Optimization」（Rafailov、Sharma、Mitchell他）では、既存の方法で使用されるRLベースの目的を、シンプルなバイナリクロスエントロピー損失を直接最適化できる目的に変換することを提案しており、これによりLLMの改善プロセスが大幅に簡素化されます。このブログ記事では、TRLライブラリで利用可能なDirect Preference Optimization（DPO）メソッドを紹介し、さまざまなスタックエクスチェンジポータルの質問に対するランク付けされた回答を含むスタックエクスチェンジのデータセットで最近のLlama v2 7Bパラメータモデルを微調整する方法を示します。 DPO vs PPO 人間の派生した好みをRLを通じて最適化する従来のモデルでは、補助的な報酬モデルを使用し、興味のあるモデルを微調整して、この報酬をRLの仕組みを利用して最大化するようにします。直感的には、報酬モデルを使用して最適化するモデルにフィードバックを提供し、ハイリワードのサンプルをより頻繁に生成し、ローリワードのサンプルをより少なく生成するようにします。同時に、フリーズされた参照モデルを使用して、生成物があまり逸脱せずに生成の多様性を維持し続けるようにします。これは通常、参照モデルを介した全報酬最大化の目的にKLペナルティを追加することで行われ、モデルが報酬モデルをごまかしたり利用したりすることを防ぐ役割を果たします。 DPOの定式化は、報酬モデリングのステップをバイパスし、報酬関数から最適なRLポリシーへの解析的なマッピングを使用して、言語モデルを好みのデータに最適化します。このマッピングは、与えられた報酬関数が与えられた好みのデータとどれだけ合致するかを直感的に測定します。したがって、DPOはRLHFの損失の最適解から始まり、変数の変換を介して参照モデルに対する損失を導出することで、参照モデルのみに対する損失を得ることができます。したがって、この直接的な尤度目的は、報酬モデルやポテンシャルに煩雑なRLベースの最適化を必要とせずに最適化することができます。 TRLのトレーニング方法前述のように、通常、RLHFパイプラインは次の異なるパーツで構成されています：教師あり微調整（SFT）ステップデータに好みのラベルを付けるプロセス好みのデータで報酬モデルをトレーニングするそして、RL最適化ステップ TRLライブラリには、これらのパーツのためのヘルパーが付属していますが、DPOトレーニングでは報酬モデリングとRL（ステップ3と4）のタスクは必要ありません。代わりに、TRLのDPOTrainerにステップ2の好みのデータを提供する必要があります。このデータは非常に特定の形式を持ちます。具体的には、次の3つのキーを持つ辞書です： prompt：テキスト生成の際にモデルに与えられるコンテキストプロンプトです…

Learn more about Search Results MPT - Page 58