Search Results FasterTransformer

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

新しいAmazon SageMakerコンテナでLLMの推論パフォーマンスを強化する

今日、Amazon SageMakerは、大規模モデル推論（LMI）Deep Learning Containers(DLCs)の新バージョン（0.25.0）をリリースし、NVIDIAのTensorRT-LLMライブラリのサポートを追加しましたこれらのアップグレードにより、SageMaker上で最先端のツールを簡単に使用して大規模言語モデル（LLMs）を最適化し、価格パフォーマンスの利点を得ることができます - Amazon SageMaker LMI TensorRT-LLM DLCは、レイテンシを33%削減します[...]

「コスト効率の高い高性能 AI 推論用の Amazon EC2 DL2q インスタンスが一般提供開始されました」

Qualcomm AIのA.K Royさんによるゲスト記事ですAmazon Elastic Compute Cloud（Amazon EC2）DL2qインスタンスは、Qualcomm AI 100 Standardアクセラレータによってパワーアップされ、クラウド上で効率的に深層学習（DL）タスクを展開するために使用することができますDLタスクのパフォーマンスや精度を開発し、検証するためにも利用できます

リーンで、意味ありげなAI夢マシン：DejaVuは知能を失わずにAIとのおしゃべりコストを削減しる

大規模言語モデルのトレーニングには、強力なGPUやTPU、AIアクセラレータなどの専用ハードウェアなどの高度な計算リソースが必要です。これらのリソースは獲得や維持に高額な費用がかかることがあります。大規模言語モデルをトレーニングするために必要な膨大な量のデータを収集し準備することは、費用と時間がかかる作業です。モデルの性能には、高品質で多様かつ代表的なデータセットが必要です。大規模言語モデルのトレーニングには、モデルのサイズと複雑さによって数週間、あるいは数ヶ月かかることがあります。スパース性は、この費用を削減する自然なアプローチです。既存の手法では、高額な再トレーニングが必要な場合や、現代のハードウェアでは壁時計時間の高速化が得られない場合があります。研究者たちは、入力に応じた一連のアテンションヘッドとMLPパラメータの新しいスパース性を提案しました。これにより、モデルがより長い時間にわたって同じ出力を生成することが可能です。彼らは、文脈的なスパース性が存在すると仮定し、それが正確に予測されると、LLM（Large Language Model）の推論を妨げることなく、壁時計時間で高速化することができるという仮説を立てました。彼らは、低コストのアルゴリズムを使用して、各層への入力に応じて文脈的なスパース性をリアルタイムに予測するシステム「DEJAVU」を提案しています。文脈的なスパース性が存在する場合でも、特定の入力に対するスパース性を事前に予測することは困難です。そのような文脈的なスパース性が存在するかどうかを検証するのは容易ではなく、単純な検証は費用がかかる場合があります。また、エンドツーエンドの壁時計時間の高速化を達成することも困難かもしれません。研究チームは、簡単なアプローチでそのようなスパース性の存在を検証しました。文脈的なスパース性は、個々の入力トークンだけでなく、その相互作用にも依存しています。十分な文脈情報を持つトークン埋め込みを使用することで、正確にスパース性を予測することができます。 MLPブロックの文脈的なスパース性は、アクティベーションを計算した後に識別することができます。ただし、これによって文脈的なスパース性の存在が示されるだけで、効率の面での利点はありません。文脈的なスパース性をエンドツーエンドで効率的に活用するには、高速で正確な予測が必要です。 DEJAVUは、予測コストを回避するために先読み予測子を使用します。ブロックkのアテンション層への入力が与えられた場合、彼らは非同期にブロックkのMLPに対して文脈的なスパース性を予測し、その情報をブロックkのMLPに提供します。次の層のアテンションヘッドでのスパース性も予測します。また、彼らは、文脈的なスパース性を軽量な学習ベースのアルゴリズムで正確に予測できると主張しています。研究者は、DEJAVUが最先端のFasterTransformerに比べてトークン生成のレイテンシを2倍以上削減し、Hugging Faceに比べて6倍以上の削減を達成し、正確さの低下はないことを発見しました。MLPスパース予測子は、ゼロショットタスクと言語モデリングの両方で正確さの低下はありません。MLPスパース予測子のトレーニングでは、高い検証精度が得られることが観察されました。

このAI研究は、FlashAttentionに基づいた新しい人工知能アプローチであるフラッシュデコーディングを紹介しますこれにより、長いコンテキストのLLM推論を最大8倍速く行うことができます

ChatGPTやLlamaなどの大規模言語モデル（LLM）は、優れた自然言語処理能力により、テキスト生成からコード補完までさまざまなアプリケーションで注目を集めています。これらのモデルの運用コストが高いため、効率とスケーラビリティを向上させるための革新的な解決策を求める研究者も登場しました。一つの応答を生成するのにかかる平均コストが0.01ドルであるため、膨大なユーザー（それぞれが複数回の日常的なインタラクションを持つ）にこれらのモデルをスケーリングする費用は急速に蓄積される可能性があります。特にコードの自動補完のような複雑なタスクでは、モデルはコーディングプロセス中に引き続き関与しているため、これらのコストは指数関数的に増加する可能性があります。デコードプロセスの最適化の必要性を認識し、研究者は一貫した文脈に基づいたその他のテキストを生成するための注意操作を統合し、スピードと効率性を改善するための技術を探求してきました。 LLMの推論、通常はデコードと呼ばれる操作は、一度に一つのトークンを生成することを含んでおり、注意操作は全体の生成時間を決定する重要な要素です。FlashAttention v2やFasterTransformerのような進歩により、トレーニングプロセスがメモリ帯域幅と計算リソースを最適化することができ、推論フェーズ中の課題も解消されています。デコーディング中の最も大きな制約のうちの1つは、より長い文脈での注意操作のスケーラビリティです。LLMはますます広範なドキュメント、会話、コードベースの処理に従事するため、注意操作は推論時間のかなりの部分を消費する可能性があります。このため、モデル全体の効率に影響を及ぼします。研究者は、これらの課題に取り組むために、Flash-Decodingと呼ばれる画期的なテクニックを導入しました。このテクニックは、以前の手法の基盤を活用しながら、並列化に焦点を当てています。キーと値のシーケンス長に基づいた戦略的なパーティションにより、小さなバッチサイズと拡張されたコンテキストでもGPUの効率的な利用が可能となります。Flash-Decodingは、並列化された注意操作および対数和の指数関数を活用し、モデル全体のアーキテクチャにわたる効率的で効果的な計算を実現することで、GPUメモリの要件を大幅に削減します。 Flash-Decodingの効果を評価するために、堅牢なアーキテクチャと高度な機能を持つ最新のCodeLLaMa-34bモデルで総合ベンチマークテストが行われました。その結果、既存の手法と比較して、より長いシーケンスに対してデコーディング速度が8倍向上したことが示されました。また、さまざまなシーケンス長とバッチサイズに対してスケーリングされたマルチヘッドアテンションのマイクロベンチマークは、Flash-Decodingの効果をさらに裏付け、シーケンス長が64kまでスケールアップされても一貫した性能を示しました。この卓越したパフォーマンスは、LLMの効率性とスケーラビリティを大幅に向上させる役割を果たし、大規模言語モデル推論技術の飛躍的な進歩を示しています。まとめると、Flash-Decodingは、大規模言語モデルのデコードプロセスにおける注意操作に関連する課題に対処するための革新的な解決策として登場しました。GPUの利用率を最適化し、モデル全体のパフォーマンスを向上させることで、Flash-Decodingは運用コストを大幅に削減し、さまざまなアプリケーションにおけるこれらのモデルの利用可能性を促進する可能性を秘めています。この先駆的な技術は、大規模言語モデル推論における重要なマイルストーンとなり、自然言語処理技術の効率性と加速度を飛躍的に向上させる道を開いています。

「Amazon SageMakerを使用して、マルチモダリティモデルを用いた画像からテキストへの生成型AIアプリケーションを構築する」

この投稿では、人気のあるマルチモーダリティモデルの概要を提供しますさらに、これらの事前訓練モデルをAmazon SageMakerに展開する方法も示しますさらに、特に、eコマースのゼロショットタグと属性生成および画像からの自動プロンプト生成など、いくつかの現実世界のシナリオに焦点を当てながら、これらのモデルの多様な応用についても議論します

「Amazon SageMakerを使用して、Llama 2モデルのスループット性能を向上させる」

機械学習（ML）の普及において、私たちは興奮する転換点にいます私たちは、ほとんどの顧客の体験やアプリケーションが生成型AIによって再発明されると信じています生成型AIは、会話、物語、画像、ビデオ、音楽などの新しいコンテンツやアイデアを作成することができます生成型AIは、非常に大きなモデルによって駆動されています（...）

「環境持続可能性のために生成型AIのワークロードを最適化する」

「AWS上でのディープラーニングワークロードの持続可能性を最適化するためのガイダンスに追加するために、この投稿では生成AIワークロードに特化した推奨事項を提供します特に、ゼロからモデルをトレーニングする、追加データを使用してファインチューニングする（フルまたはパラメータ効率のテクニックを使用する）、Retrieval Augmented Generation（RAG）、およびプロンプトエンジニアリングの異なるカスタマイズシナリオに対する実用的なベストプラクティスを提供します」

「vLLMに会ってください：高速LLM推論とサービスのためのオープンソース機械学習ライブラリ」

大規模な言語モデル（LLM）は、プログラミングアシスタントやユニバーサルチャットボットなどの新しいアプリケーションを可能にするため、日常生活やキャリアにますます大きな影響を与えています。しかし、これらのアプリケーションの動作は、GPUなどの重要なハードウェアアクセラレータの要件による重要なコストがかかります。最近の研究によると、LLMのリクエストの処理は、従来のキーワード検索と比較して、10倍以上高価になることが示されています。そのため、LLMのサービングシステムのスループットを向上させ、リクエストごとの費用を最小限に抑える必要性が高まっています。大規模な言語モデル（LLM）の高スループットなサービスを実行するには、一度に十分な数のリクエストをバッチ処理する必要があります。ただし、既存のシステムは支援が必要です。各リクエストのキーバリューキャッシュ（KVキャッシュ）メモリは非常に大きく、動的に成長および縮小する可能性があります。このメモリは慎重に管理する必要があります。効率的に管理されていない場合、断片化や冗長な重複により、このRAMを大幅に節約し、バッチサイズを減らすことができます。研究者たちは、この問題の解決策として、オペレーティングシステムの伝統的な仮想メモリとページング技術に着想を得たアテンションアルゴリズム「PagedAttention」を提案しています。メモリの利用をさらに削減するために、研究者たちはvLLMも展開しています。このLLMサービスは、ほぼゼロのKVキャッシュメモリの無駄を生じず、リクエスト内およびリクエスト間でのKVキャッシュの柔軟な共有を提供します。 vLLMは、PagedAttentionを使用してアテンションキーとバリューを管理します。モデルアーキテクチャの変更を必要とせずに、HuggingFace Transformersよりも最大24倍のスループットを提供するvLLMは、LLMサービスの現在の最先端を再定義します。従来のアテンションアルゴリズムとは異なり、PagedAttentionでは、連続したメモリ空間にキーと値を格納することができます。PagedAttentionは、各シーケンスのKVキャッシュをブロックに分割し、予め定められたトークンの数に対応するキーと値を含んでいます。これらのブロックは、アテンション計算中にPagedAttentionカーネルによって効率的に識別されます。ブロックは必ずしも連続する必要がないため、キーと値を柔軟に管理することができます。 PagedAttention内のシーケンスの最後のブロックのみでメモリリークが発生します。実際の使用では、これにより効果的なメモリ利用が可能となり、わずか4%の非効率性しか生じません。このメモリ効率の向上により、GPUの利用率を高めることができます。また、PagedAttentionには効率的なメモリ共有のもう一つの利点があります。PagedAttentionのメモリ共有機能は、並列サンプリングやビームサーチなどのサンプリング技術に必要な追加メモリを大幅に削減します。これにより、メモリ利用率を最大55%削減しながら、スピードを最大2.2倍向上させることができます。この改善により、これらのサンプル技術は大規模言語モデル（LLM）サービスにおいて有用で効果的なものとなります。研究者たちは、このシステムの精度を研究しました。彼らは、FasterTransformerやOrcaなどの最先端のシステムと同じ遅延時間で、vLLMが有名なLLMのスループットを2〜4倍増加させることを発見しました。より大きなモデル、より複雑なデコーディングアルゴリズム、およびより長いシーケンスは、より顕著な改善をもたらします。

TensorRT-LLMとは、NVIDIA Tensor Core GPU上の最新のLLMにおいて推論パフォーマンスを高速化し最適化するためのオープンソースライブラリです

人工知能（AI）の大規模言語モデル（LLM）は、テキストを生成したり、言語を翻訳したり、さまざまな形式の創造的な素材を書いたり、質問に役立つ回答を提供したりすることができます。ただし、LLMにはいくつかの問題があります。例えば、バイアスが含まれる可能性のある大規模なテキストやコードのデータセットで訓練されていることです。LLMが生成する結果には、これらの偏見が反映され、否定的なステレオタイプを強化し、誤った情報を広める可能性があります。時には、LLMは現実に基づかない文章を生成することもあります。これらの体験を幻覚と呼びます。幻覚的なテキストを読むことで、誤解や誤った推論が生じる可能性があります。LLMの内部の動作原理を理解するには、作業が必要です。そのため、医療や金融など、オープンさと責任が重要な文脈で問題が生じる可能性があります。LLMのトレーニングと展開には、大量の計算能力が必要です。これにより、多くの中小企業や非営利団体にはアクセスできなくなる可能性があります。スパム、フィッシングメール、フェイクニュースなど、悪情報がLLMを使用して生成されることがあります。これによってユーザーや企業が危険にさらされる可能性があります。 NVIDIAの研究者は、Meta、Anyscale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現在はDatabricksの一部）、OctoML、Tabnine、Together AIなどの業界のリーダーと協力し、LLMの推論の高速化とパーフェクト化に取り組んでいます。これらの改善は、近日公開予定のオープンソースNVIDIA TensorRT-LLMソフトウェアバージョンに含まれます。TensorRT-LLMは、NVIDIAのGPUを利用して最適化されたカーネル、前処理および後処理フェーズ、およびマルチGPU／マルチノード通信プリミティブを提供するディープラーニングコンパイラです。開発者は、C++やNVIDIA CUDAの詳しい知識を必要とせずに、新しいLLMを試行することができ、優れたパフォーマンスと迅速なカスタマイズオプションを提供します。オープンソースのモジュラーなPython APIを備えたTensorRT-LLMは、LLMの開発において新しいアーキテクチャや改良を定義、最適化、実行することを容易にします。 NVIDIAの最新のデータセンターGPUを活用することで、TensorRT-LLMはLLMのスループットを大幅に向上させながら、経費を削減することを目指しています。プロダクションにおける推論のためのLLMの作成、最適化、実行には、TensorRT Deep Learning Compiler、FasterTransformerからの最適化されたカーネル、前処理および後処理、マルチGPU／マルチノード通信をカプセル化した、わかりやすいオープンソースのPython APIが提供されます。 TensorRT-LLMにより、より多様なLLMアプリケーションが可能になります。MetaのLlama 2やFalcon 180Bなどの700億パラメータのモデルが登場した現在、定型的なアプローチはもはや実用的ではありません。このようなモデルのリアルタイムパフォーマンスは、通常、マルチGPUの構成や複雑な調整に依存しています。TensorRT-LLMは、重み行列をデバイス間で分散させるテンソル並列処理を提供することで、このプロセスを効率化し、開発者が手動で断片化や再配置を行う必要をなくします。また、LLMアプリケーションには非常に変動するワークロードが特徴であるため、フライト中のバッチ最適化は効果的に管理するための注目すべき機能です。この機能により、質問応答型チャットボットや文書要約などのタスクにおいて、動的な並列実行が可能となり、GPUの利用率を最大限に引き出すことができます。AIの実装の規模と範囲の拡大を考慮すると、企業は所有コストの削減を期待できます。性能面でも驚異的な結果が出ています。TensorRT-LLMを使用した場合、TensorRT-LLMを使用しない場合やA100と比較した場合、NVIDIA H100を使用した場合の記事要約などのタスクで、8倍の性能向上が見られます。図1. GPT-J-6B A100とTensorRT-LLMを使用したH100の比較 | テキスト要約、可変長の入出力、CNN /…

Learn more about Search Results FasterTransformer