Search Results MPT

「メタのMusicGenを使用してColabで音楽を生成する」

「ColabでMusicGenをセットアップする方法を学びましょうこの先進のテキストから音楽へ変換するモデルは、人工知能アルゴリズムを使用して魅力的な楽曲を生成します」

このAIニュースレターはあなたが必要なものです #68

今週は、マルチモーダルの能力を持つ GPT-4 に対抗する候補として、新しいオープンソースのマルチモーダルモデルである LLaVA v1.5 の登場を目撃しましたそれはシンプルな...

「LLMsとRAGを組み合わせることによる拡張」

私はVoAGIについてさまざまな技術トピックについて何度もブログを書いてきました特にAmazon SageMaker上での機械学習（ML）モデルのホスティングに関してはより多くの記事を執筆してきました最近では興味を持ったのは…

ミストラルAIのミストラル7Bファンデーションモデルは、Amazon SageMaker JumpStartで利用可能です

今日は、私たちはうれしいお知らせがありますMistral AIが開発したMistral 7Bファンデーションモデルが、Amazon SageMaker JumpStartを通じてお客様に利用可能になりました1クリックでデプロイできるようになり、7,000,000,000のパラメータを備えたMistral 7Bは簡単にカスタマイズでき、迅速に展開することができますこのモデルはSageMaker JumpStartを使用してお試しいただけます

「LLMファインチューニングにおけるPEFTテクニック」

イントロダクション言語モデルまたはLLM（Language models）は、自然言語処理の世界を席巻しています。これらは人間に似たテキストを生成し、自然言語入力に対して理解し応答するために設計された強力なAIシステムです。基本的に、彼らは人間の言語理解と生成を模倣することを目指しています。LLMの微調整の複雑さを理解し、この分野を変革している革新的なPEFT（Prompt Engineering and Fine Tuning）技術を探索する旅に出かけましょう。学習目標：言語モデルの微調整の概念を理解する。 PEFT技術とその意義を理解する。効率的な係数の選択のための技術を探索する。 PEFT技術の理解まず、頭字語「PEFT」の解読を試みましょう。PEFTはパラメータ効率的な微調整を表します。しかし、この文脈ではパラメータの効率性は何を意味し、なぜ重要なのでしょうか？機械学習では、モデルは基本的には数多くの係数または重みを持つ複雑な数学方程式です。これらの係数はモデルの振る舞いを制御し、データから学習することが可能にします。機械学習モデルを訓練する際には、これらの係数を調整してエラーを最小化し正確な予測を行います。LLMの場合は、数十億のパラメータを持つ可能性がありますので、すべての係数を訓練中に変更するのは計算コストが高くメモリを消費することになります。ここで微調整が登場します。微調整とは、事前に訓練されたモデルを特定のタスクに適応させるプロセスです。モデルは既に言語の基本的な理解力を持っていると仮定し、特定の領域での優れた性能を発揮するように調整することに焦点を当てます。 PEFTは、微調整のサブセットとしてパラメータの効率性を重要視しています。すべての係数を変更する代わりに、PEFTはそれらのサブセットを選択し、計算やメモリの要件を大幅に減らします。効率性が重要なFalcon 7Bのような大規模なモデルのトレーニングに特に有効なアプローチです。トレーニング、微調整、プロンプトエンジニアリング：主な違い PEFTに深く入る前に、トレーニング、微調整、プロンプトエンジニアリングの違いを明確にしましょう。これらの用語はしばしば同義に使用されますが、LLMの文脈で特定の意味を持っています。トレーニング：モデルがゼロから作成されるとき、トレーニングが行われます。これには、モデルのすべての係数や重みを調整してデータのパターンや関係性を学習する作業が含まれます。モデルに言語の基礎を教えるということです。微調整：微調整では、モデルが既に言語の基本的な理解力を持っている（トレーニングによって達成されたもの）と仮定しています。特定のタスクやドメインにモデルを適応させるため、目的に合わせた調整が行われます。特定の仕事（例えば質問に答えることやテキストの生成など）において、教養のあるモデルを洗練させると考えてください。プロンプトエンジニアリング：プロンプトエンジニアリングでは、LLMが望ましい出力を提供するための入力プロンプトや質問を作成します。求める結果を得るためにモデルとのインタラクション方法をカスタマイズすることです。 PEFTは、微調整フェーズで重要な役割を果たし、モデルの係数を選択的に変更して特定のタスクでの性能を向上させます。係数の選択のためのLoRAとQLoRAの探索…

私たちはどのように大規模な言語モデルをストリーミングアプリケーションで効率的に展開できるのでしょうか？このAI論文では、無限のシーケンス長のためのStreamingLLMフレームワークを紹介しています

大きな言語モデル（LLM）は、コード補完、質問応答、文書要約、対話システムなど自然言語処理アプリケーションのパワーとして、ますます使用されています。事前にトレーニングされたLLMは、正確かつ迅速に拡張シーケンス作成を行う必要があり、その全ての潜在能力を発揮するためには可能な限り大量のシーケンスを処理できる必要があります。例えば、最近の日中のチャットのコンテンツを信頼性を持って編集する理想的なチャットボットヘルパーです。4KのLlama-2など、事前学習されたものよりも大きなシーケンス長に一般化することは、LLMにとって非常に困難です。事前トレーニング中のアテンションウィンドウのため、LLMは制約されます。長い入力に対してこのウィンドウの大きさを拡張し、トレーニングと推論の効果を高めるための取り組みが行われていますが、許容されるシーケンス長はまだ見直す必要があり、永続的な展開を妨げています。MIT、Meta AI、カーネギーメロン大学の研究者らは、この研究で最初にLLMストリーミングアプリケーションのアイデアを検討し、次の質問を提起しています：LLMを無限の入力ストリームに使用する際には、2つの主要な問題が浮かび上がります： 1. TransformerベースのLLMは、デコーディングステージ中にすべての前のトークンのKeyとValueの状態（KV）をキャッシュします（図1(a)参照）。これは、過剰なメモリ使用量とデコードの遅延の増加を引き起こす可能性があります。 2. シーケンスの期間が事前学習中のアテンションウィンドウサイズを超えると、既存のモデルのパフォーマンスが低下します。図1は、StreamingLLMと以前の技術を比較しています。トークンT（T>>L）は、長さLのテキストで事前トレーニングされた言語モデルによって予測されます。（a）密なアテンションはキャッシュ容量が上昇し、時間の複雑さがO（T^2）になります。テキストの長さが事前トレーニングのテキスト長を超えるとパフォーマンスが低下します。（b）ウィンドウアテンションは、キャッシュ中で最新のLトークンのKVを保存します。推論ではパフォーマンスが良いですが、最初のトークンのキーと値が削除されると急速に悪化します。新しいトークンごとに、（c）スライディングウィンドウとリコンピューテーションは、最新のLトークンを使用してKV状態を再構築します。長いテキストの処理には優れていますが、O（T L^2）の計算量と文脈の再計算における二次関数のアテンションのため、非常に遅いです。（d）「ステディなアテンションの計算のため、StreamingLLMは最新のトークンとともに少数の初期トークンをアテンションシンクとして保持します。長いテキストに対して効果的かつ一貫して機能します。Llama-2-13Bモデルは、PG-19テストセットの最初の本（65Kトークン）におけるPerplexityを計算するために使用されます。ウィンドウアテンションは、最新のトークンのKV状態の固定サイズのスライディングウィンドウを保持する明確な戦略です（図1b）。最初のトークンのKVを排除するだけで、シーケンス長がキャッシュ容量を超えると、モデルは崩壊します。キャッシュが最初に一杯になった後も、一貫したメモリ使用量とデコード性能を保証します。さらなる戦略として、再計算を行うスライディングウィンドウ（図1c）があります。このテクニックは、ウィンドウ内の二次関数のアテンション計算により、非常に遅くなりますが、パフォーマンスは良好です。これは、実世界のストリーミングアプリケーションには適していません。ウィンドウアテンションの失敗を説明するための自己回帰LLMの興味深い現象を彼らは発見しました。言語モデリングのタスクと関連性に関係なく、初期トークンに驚くほど高いアテンションスコアが割り当てられています。これらのトークンは「アテンションシンク」と呼ばれ、意味的な価値はほとんどありませんが、重要なアテンションスコアを受け取ります。関連するトークンすべてにおいてアテンションスコアが1になる必要があるソフトマックス処理が原因とされています。そのため、現在のクエリが多くの以前のトークンと良い一致がない場合でも、モデルはこれらの余分なアテンション値を一に加える必要があります。初期トークンは、シンプルな理由で注意の溜め場として使用されます: 自己回帰型言語モデリングの性質により、実質的にすべての後続トークンに対して可視性があり、トレーニングが容易です。前述の発見に基づいて、ストリーミングLLMという直感的で効果的なアーキテクチャを提案しています。これにより、有限な注意ウィンドウで準備されたLLMが、細かな調整なしで無期限のテキストに対応できるようになります。注意の消耗が高いため、StreamingLLMはこの特性を活用して注目度の分布を適度に維持します。StreamingLLMは、スライディングウィンドウのキーバリューと初期トークンの注目計算とモデルの安定性を維持するために使用されます (初期トークンはわずか4つだけ必要です)。 Llama-2-B、MPT-B、Falcon-B、およびPythiaBのようなモデルは、StreamingLLMの助けを借りて4百万トークンを正確に表現できるでしょう、さらに多くの可能性もあります。StreamingLLMは、再計算を伴うスライディングウィンドウとの比較で最大22.2倍の高速化を実現し、LLMのストリーミング使用を実現します。最後に、言語モデルはストリーミング展開に必要な注目の溜め場トークンを単一にすることが事前学習で可能であることを示しています。トレーニングサンプルの開始時に、選択した注目の溜め場を追加の学習可能なトークンとして実装することを提案しています。この単一の溜め場トークンの導入により、1億6000万パラメータからゼロから言語モデルを事前学習することで、ストリーミングインスタンスにおけるモデルのパフォーマンスを維持できます。これは、同じパフォーマンスレベルを維持するために複数の初期トークンを溜め場として再導入する必要があるバニラモデルとは対照的です。

「2023年に試してみることができるChatGPTのトップ22の代替品（無料および有料）」

ChatGPTは、さまざまなタスクにおいて最も有名で一般的に使用されているAIツールです。さまざまなコースや教材があり、その潜在能力を最大限に統合し活用するための知識も豊富なため、定期的に利用しているユーザーは関連する課題にもおなじみです。2021 年までは信頼性に欠け、限定的な知識しか持たなかったため、個人は代替手段を探し出すことを余儀なくされていました。検索を終了するため、ここではChatGPTの代替手段のリストをご紹介します。オプションを探索して、新しいお気に入りのAIを見つけましょう。ライティング用のChatGPTの代替手段 1. Chatsonic (Writesonic) (無料および有料) このAIは、ChatGPTに似ていますが、ライティングで強化された機能を備えています。GPT-4の機能を活用しています。これは、カスタマイズ可能で使いやすい機能を提供する会話型AIであり、NLPおよびML技術を備えたものです。Googleの検索トレーニングによって、現在のイベントやトレンド情報を取り入れることができます。プロンプト: クラス5の子供にAditya L-1について説明するための100語の魅力的なコンテンツを生成してください。アクセスはこちら: Writesonic 2. Claude (無料および有料) Anthropicによる次世代の会話型AIです。Claudeは複数の入力を同時に受け付けることができます。ユーザーに役立ち、正直な無害なAIシステムを生成することを重視して開発されました。Claude AIは創造的なライティング、コーディング、および質問への回答が可能です。個々の利用に向け、異なる振る舞い、パーソナリティ、トーンに切り替えることができます。プロンプト: インドへのイギリスの侵略につながった出来事の年表を列挙してください。アクセスはこちら: Anthropic Claude もっと読む:…

「Amazon SageMaker Data Wranglerを使用して、Amazon Personalizeのデータを準備する」

「レコメンドエンジンは、それを準備するために使用されるデータのみならず優れたものです生データをモデルに適した形式に変換することは、エンドユーザーにより良いパーソナライズされたおすすめをするための鍵ですこの記事では、GroupLens研究によって準備されたMovieLensデータセットの準備とインポート方法について解説します」

世界のトップ10量子コンピューティング企業（2024年）

この記事にリストされているトップ10の量子コンピューティング企業は、量子コンピューティングの分野が急速に変化している中、この技術革命の最前線に立っています

Tech

Lovo.ai レビュー：2023年10月の最高のAI音声生成器ですか？

究極のAI音声生成ツールをお探しですか？AIを利用して瞬時にナレーションを追加する方法を詳しく知りたい方は、このLovo.aiのレビューをお読みください

lovo

Learn more about Search Results MPT - Page 36