Search Results 大規模な言語モデル

「前方予測デコーディング」：LLM推論を加速するための並列デコーディングアルゴリズム

大規模な言語モデル（LLM）であるGPT-4やLLaMAなどは現代のアプリケーションを再構築し続けているが、推論は遅く最適化が困難であるため、自己回帰デコーディングに基づいている。LLMのリクエストの遅延は、リクエストの回答の長さ、または同等の復号化ステップの数にほとんど依存しており、自己回帰デコーディングの各ステップでは時間ごとに1つのトークンしか生成されないため、現在のGPUの並列処理能力は一般的に十分に活用されていない。これは、チャットボットや個人アシスタントなどの実用的なLLMアプリケーションでは問題となり、瞬時の応答を必要とするため、低レイテンシで大規模なシーケンスを頻繁に生成することになる。自己回帰デコーディングは、メドゥーサとOSDのような先読みデコーディング手法を使用することで高速化することができる。これらの手法は、「予測して確認する」という戦略を採用し、予備モデルが将来のいくつかの可能なトークンについて予測し、オリジナルのLLMがこれらの予測を並列で確認する。これにより、デコードのステップ数が少なくて済む場合にレイテンシを削減することができる。しかし、これらの手法には制約もある。まず、ドラフトモデルが主モデルの出力を適切に予測することができる割合、または同等のトークン受理率は、先読みデコーディング手法が達成できる最大の高速化の上限である。第二に、信頼性のある予備モデルを開発することは容易ではなく、通常はトラフィックの時間的な変動を考慮してトレーニングと細かい調整が必要となる。 LMSYS ORGによる新しい研究では、これらの困難に対処するために開発された新しい正確なデコーディング技術である「先読みデコーディング」を紹介している。1つのステップで多くの後続トークンをデコードすることは計算上制約がありますが、LLMは複数の直交n-gramを同時に生成できることが観察されています。これらのn-gramは将来のシーケンスの一部に適用することができます。従来のヤコビ反復法は並列デコーディングに適応され、自己回帰デコーディングを非線形方程式の解と見なすことが可能になります。生成されたn-gramは記録され、確認後、シーケンスに組み込まれます。先読みデコーディングは特に次のような点で注目に値するです。事前モデルを使用しないため、展開が高速化されます。各ステージごとにデコードのステップ数をlog(FLOPs)倍減少させる研究者は、先読みデコーディングがレイテンシを1.5倍から2.3倍低減することを実証しています。特に、ほとんど計算負荷を増やすことなく処理を削減することが可能です。ただし、利点は限定的です。彼らは自分たちの実装を作成し、huggingface/transformersとの互換性を持つように先読みデコーディングを作動させています。HuggingFaceはネイティブ生成関数を提供していますが、ユーザーはわずかなコードで効率を大幅に向上させることができます。ヤコビ反復法は非線形システムを解決するための確立された技術です。LLM推論は事前トレーニングモデルを必要とせず、並列にトークンを作成するためにも使用することができます。ヤコビデコーディングでは、各ステップで1つ以上のトークンに対してLLMの前方計算が行われるため、自己回帰デコーディングの各ステップよりもFLOPが多く必要です。研究者は、実世界のアプリケーションにおいてヤコビデコーディングのウォールクロック性能を大幅に改善しようとする際に遭遇するいくつかの困難を観察しています。ヤコビデコーディングは、多くのトークンを複数のステップでデコードすることができますが、トークンの順序がしばしば間違ってしまいます。適切に予測された場合でも、トークンは次のサイクルで置き換えられることがよくあります。そのため、わずかな反復で複数のトークンを同時に正確にデコードすることはできません。これにより、並列デコーディングを使用する目的が無効化されます。一般に、グラフィックス処理ユニットの並列処理能力のおかげで、パフォーマンスの低下は起こりません。先読みデコーディングは、ヤコビデコーディングの並列n-gram生成能力を生かすことで、これらの欠点を克服することができます。ある時点での各新しいトークンは、ヤコビデコーディングで前の反復のその位置の値を使用してデコードされます。このプロセスにより、多くのn-gramが形成され、各トークン位置の過去のトークンのタイムラインが作成されます。これを活用するため、先読みデコーディングではこれらのn-gramが軌跡に基づいて収集され、キャッシュされます。先読みデコーディングは、将来のトークンに対してヤコビ反復を使用した並列デコーディングを実行しながら、キャッシュから期待されるn-gramを同時に確認します。各先読みデコードフェーズは、効率を向上させるために、先読みブランチと検証ブランチの2つの並行したブランチに分割されます。Jacobi反復軌跡からn-gramを生成するため、先読みブランチは定数サイズの二次元ウィンドウを保持します。同時に、有望なn-gramの候補は検証ブランチによって選択され、確認されます。 LLMデコードにおいて主要なボトルネックはメモリーバンド幅であるため、研究者は先読みブランチと検証ブランチを1回の通過に組み合わせ、関連するオーバーヘッドを隠蔽しながらGPUの並列処理能力を活用します。研究チームは、LLaMA-2-ChatとCodeLLaMAの異なるサイズをMT-bench、HumanEval、GSM8Kでテストし、先読みデコードの有効性を確認しました。先読みデコード技術は、微調整や事前モデルの必要性なしに高速化を実現します。彼らはfp16精度の下で、単一のA100 GPUで7B、13B、33Bモデルを評価し、2つのA100 GPUで70Bモデルをパイプライン並列処理します。 MT-Bench LLaMA Discussion: 多くのモデル構成で、先読みデコードによるスピードアップは約1.5倍です。 HumanEval’s CodeLLaMA: CodeLLaMAでは、先読みデコードを使用するとHumanEvalのレイテンシが2倍以上減少します。これは、コードには数多くの容易に推測可能なN-gramが含まれているためです。 GSM8Kの教育用CodeLLaMA: 先読みデコードにより、CodeLLama-InstructorをGSM8Kの数学的な課題に適用することで、レイテンシが1.8倍減少します。…

ETH Zurichの研究者が、推論中に0.3%のニューロンしか使用しないが、同様のBERTモデルと同等の性能を発揮するUltraFastBERTを紹介しました

ETHチューリッヒの研究者によるUltraFastBERTの開発は、推論中に使用するニューロンの数を削減する問題に取り組み、他のモデルと同様のパフォーマンスレベルを維持しながら、高速なフィードフォワードネットワーク（FFF）の導入により、ベースラインの実装と比較して大幅な高速化を実現しました。既存の手法は、ETHチューリッヒの研究者によって提供されたコード、ベンチマーク設定、およびモデルの重みによってサポートされています。また、複数のFFFツリーによる共同計算と、GPT-3などの大規模な言語モデルへの応用の可能性を提案しています。研究では、混合スパーステンソルとデバイス固有の最適化によるさらなる高速化も提案されています。 UltraFastBERTは、推論中の選択的なエンゲージメントによる効率的な言語モデリングを実現しています。従来のモデルのフィードフォワードネットワークを簡略化されたFFFに置き換え、一貫した活性化関数と全ノードの出力重みを使用しながらバイアスを排除しています。複数のFFFツリーで中間層の出力を共同計算することにより、多様なアーキテクチャが可能となります。提供される高レベルのCPUおよびPyTorchの実装により、大幅な高速化が実現され、研究では複数のFFFツリーによる高速化や大規模な言語モデルのフィードフォワードネットワークのFFFへの置換も探求しています。デバイス固有の最適化としては、Intel MKLとNVIDIA cuBLASが提案されています。 UltraFastBERTは、推論中にBERT-baseと比較可能なパフォーマンスを達成し、そのニューロンのわずか0.3％のみを使用しています。1日の単一GPUでトレーニングされ、GLUEの予測パフォーマンスは少なくとも96.0％を維持します。UltraFastBERT-1×11-longは、そのニューロンのわずか0.3％を使用してBERT-baseのパフォーマンスに対応します。より深い高速フィードフォワードネットワークではパフォーマンスが低下しますが、CoLAを除くすべてのUltraFastBERTモデルは少なくとも98.6％の予測パフォーマンスを維持します。クイックフィードフォワードレイヤーによる大幅な高速化が示され、CPUで48倍から78倍、GPUで3.15倍の高速化が実現されており、大規模なモデルの置換の可能性が示唆されています。結論として、UltraFastBERTは、推論中にそのニューロンのわずかな部分しか使用せずに効率的な言語モデリングを実現するBERTの改良版です。提供されるCPUおよびPyTorchの実装により、それぞれ78倍と40倍の高速化が達成されています。研究は、条件付きニューラル実行のプリミティブの実装によるさらなる高速化の可能性を示唆しています。わずか0.3％のニューロンしか使用していないにも関わらず、UltraFastBERTの最良モデルはBERT-baseのパフォーマンスに匹敵し、効率的な言語モデリングの可能性を示しています。UltraFastBERTは、将来のより高速かつリソースフレンドリーなモデルの道を開く効率的な言語モデリングの潜在的な進歩を示しています。今後の研究の提案内には、ハイブリッドベクトルレベルスパーステンソルとデバイス固有の最適化を使用した効率的なFFF推論の実装、条件付きニューラル実行の完全なポテンシャルの探索、大規模な言語モデルのフィードフォワードネットワークをFFFに置換することによる最適化の可能性についての議論が含まれています。将来の作業では、PyTorchやTensorFlowなどの一般的なフレームワークで再現性のある実装と、UltraFastBERTや類似の効率的な言語モデルのパフォーマンスと実用的な影響を評価するための幅広いベンチマークに焦点を当てることができます。

AWS AIサービスの能力がFMによって強化されました

「人工知能（AI）は、私たちがビジネスを行い、顧客にサービスを提供する方法を変革し続けていますAWSは、アプリケーションに即座に使用できる知能を提供する事前学習されたAIサービスの範囲を提供していますこの記事では、新しいAIサービスの機能と、それらがファウンデーションモデル（FM）を使用してどのように強化されるかについて探求します以下の主要なアップデートに焦点を当てます[...]」

エンタープライズAIプラットフォームは、Amazon Bedrockを利用したものです

さまざまな基礎モデルを使用したAmazon Bedrockの解説と、エンタープライズGen AIプラットフォームの構築方法についてのガイド

Amazon Lexの新しい生成AI機能で、セルフサービスアシスタントを向上させましょう

この投稿では、生成AIが会話型AI業界を変えて、新しい顧客とボットビルダーの体験を提供し、これらの進歩を活用するアマゾンレックスの新機能についてお話しします会話型AIの需要がさらに高まる中、開発者は人間のような対話体験を持つチャットボットを向上させる方法を求めています

なぜハイプが重要なのか：AIについて現実的な考え方が必要

ELIZAはChatGPTにいくつかの類似点を持つ初期のチャットボットでしたなぜこの興奮が重要なのでしょうか？船を発明すると、船難も起こります

「LQ-LoRAに会ってください：効率的な言語モデルの微調整のための低ランク量子化行列分解を可能にするLoRAの派生版」

人工知能の急速な進化の時代において、大規模言語モデル（LLM）の導入は、機械と人間の相互作用のあり方を変革しました。最近の数ヶ月間には、信じられないほどの能力と超高度なアルゴリズムを持つ、数多くのLLMが開発されています。GPT 3.5、GPT 4、LLaMa、PaLMなどのモデルは、自然言語理解（NLU）、処理、翻訳、要約、さらにはコンテンツ生成において、いくつかの例外的な人間の模倣能力を発揮しています。これらのLLMは、膨大な量のデータで訓練されています。しかし、これらのモデルが新しいデータセットに適応する際には課題があります。これらの大規模なLLMを新しいデータセットに適応させる際には、フルファインチューニングには多額の費用とメモリの要件がかかります。LLMのファインチューニングにおけるメモリ効率の問題に対処するために、最近では、研究チームがパラメータ効率の高いファインチューニング手法のアイデアを発表しました。元の事前学習済みモデルに対して小さなファインチューニング拡張を学習することにより、これらの技術はファインチューニングに必要なメモリ量を減らすことができます。低ランク適応（LoRA）は、効果的なLLM適応のための人気のある戦略であり、事前学習済みモデルの重み行列を再パラメータ化し、そのうちの2つの要素（L1とL2）のみをファインチューニングします。残りの要素は変更されません。研究者たちは、LoRAのメモリ効率を向上させるために、量子化された事前学習済みモデルに適用しました。メモリの節約のために、量子化はモデルのパラメータの精度を低下させますが、量子化が大きい場合はゼロ初期化が最適ではありません。量子化エラーを克服するために、チームはLQ-LoRAと呼ばれるLoRAの一つのバリエーションを導入しました。 LQ-LoRAは、主成分分析（PCA）に影響を受けた反復技術を使用して、重み行列を量子化コンポーネントQと低ランクコンポーネントL1L2に分解します。LQ-LoRAでは、L1とL2は適応中に改良され、初期の重み行列の高分散部分空間をキャプチャします。この研究では、整数線形計画法を使用して、すべてのレイヤーに同じ量子化構成を適用する問題を解決するための混合量子化方式を見つけ出しています。全体の目標ビットレートが与えられた場合、この技術では各行列にビットとブロックサイズを含むさまざまな構成を割り当てることができます。チームは、LQ-LoRAを使用して、RoBERTaとLLaMA-2のサイズが異なるモデル、7Bと70Bを改変しました。その結果、LQ-LoRAはGPTQ-LoRAや強力なQLoRAのベースラインよりも優れたパフォーマンスを示しました。OpenAssistantベンチマークで4ビットのQLoRAを使用したモデルと競合する2.5ビットのLLaMA-2モデルをトレーニングする能力は、提案された手法がより積極的な量子化を可能にすることを示しています。 LQ-LoRAは、データセット校正言語モデルに調整された後のモデル圧縮においても優れたパフォーマンスを示しました。ビットレートが低下したにもかかわらず、チームは完全な精度で元のモデルと競合する2.75ビットのLLaMA-2-70Bモデルを作成することができました。これは、提案された方法が特定の活動の機能性を犠牲にすることなく、大規模な言語モデルのメモリ要件を劇的に低下させる可能性があることを示しています。まとめると、LQ-LoRAは言語モデルの開発において重要な転換点です。メモリ効率の高い適応方法やデータを考慮した機構、そして動的な量子化パラメータの調整により、人工知能の分野でパラダイムシフトを起こす可能性があります。

Learn more about Search Results 大規模な言語モデル - Page 16

「前方予測デコーディング」：LLM推論を加速するための並列デコーディングアルゴリズム

ETH Zurichの研究者が、推論中に0.3%のニューロンしか使用しないが、同様のBERTモデルと同等の性能を発揮するUltraFastBERTを紹介しました

AWS AIサービスの能力がFMによって強化されました

エンタープライズAIプラットフォームは、Amazon Bedrockを利用したものです

Amazon Lexの新しい生成AI機能で、セルフサービスアシスタントを向上させましょう

なぜハイプが重要なのか：AIについて現実的な考え方が必要

「LQ-LoRAに会ってください：効率的な言語モデルの微調整のための低ランク量子化行列分解を可能にするLoRAの派生版」

「Amazon Personalizeと創造的AIを活用して、ハイパーカスタマイズされたお客様体験を実現しましょう」

「AIアシスタントと共に気候変動に備える」

RAGの回答を向上させる：自己デバッグ技術と認知負荷の軽減

Find the right Blockchain Investment for you