アップルの研究者がパラレルスペキュラティブサンプリング(PaSS)を紹介:言語モデルの効率とスケーラビリティにおける飛躍

「アップルの研究者がパラレルスペキュラティブサンプリング(PaSS)を紹介:言語モデルの効率とスケーラビリティの進化」

EPFLの研究者は、Appleとの共同研究で、Parallel Speculative Sampling(PaSS)と呼ばれる仕様採取の新たなアプローチを導入しました。この新たなアプローチにより、単一のモデルを使用して複数のトークンを同時に起草することが可能となり、自己回帰生成と仕様採取の利点を組み合わせることができます。PaSSの評価では、テキストとコードの補完のタスクで有望なパフォーマンスが示されており、モデルの品質を損なうことなく、先読み埋め込みの数がアプローチに与える影響も探求され、最適な数値が見つかりました。

PaSSは、仕様採取の制約事項に対処するために提案されたもので、同じトークナイザを使用する2つのモデルが必要な仕様採取と比較して、単一のモデルで複数のトークンの起草が可能です。自己回帰生成とベースラインメソッドとの比較評価により、PaSSの優れたスピードとパフォーマンスが示されています。テキストとコードの補完のタスクでのテストでは、全体的なモデルの品質を損なうことなく、有望な結果が得られました。また、異なるサンプリング手法を使用したベースラインとの比較により、サンプリングスキームと先読み埋め込みがPaSSのパフォーマンスに与える影響も探求されました。

大規模言語モデルは、自己回帰生成による自然言語処理の制約事項があります。生成されるトークンごとに順方向のパスが必要となり、メモリアクセスと処理時間に影響を与えます。仕様採取は解決策を提供するものの、同じトークナイザを使用する2つのモデルが必要となり、ボトルネックを導入します。PaSSは、2段階の並列デコーディングを利用する方法です。1つ目のトークンは、却下された場合の分布マッチングのために起草から除外され、モデルは並列デコーディングを使用して複数のトークンを同時に生成します。この方法により、全体的なモデルの品質を維持しながら、優れたスピードとパフォーマンスが実現されます。

PaSSは、自己回帰生成と比較して最大30%の高速化が見込まれる言語モデルの生成において、モデルのパフォーマンスを適正範囲内に維持しながら、低い分散性と高い予測性を持つトークンを生成する効果的な手法として証明されています。テキストとコードの補完のタスクにおいてPaSSのパフォーマンスを評価することで、その有効性が実証されています。さらなる改善点として、より高いパフォーマンス向上を目指して、より優れた先読みチケットを利用する方法が提案されています。

将来の研究の方向としては、先読みトークンを利用した並列生成の品質向上を探求することが推奨されており、PaSSのパフォーマンス向上のための有望な手法とみなされています。研究者は、先読みステップ数がPaSSに与える影響についてさらなる調査が必要であると強調しており、ステップ数の増加がアプローチの利点を相殺する可能性があると指摘しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「AIイメージジェネレータとは何ですか?2023年のトップAIイメージジェネレータ」

AI画像生成器は、ユーザーが指定した特定のパラメータやプロンプトに基づいて、ユニークで高品質な画像を生成することができ...

人工知能

AIに関する最高のコースは、YouTubeのプレイリストを持つ大学から提供されています

「信頼できる大学のYouTubeプレイリストで、新しいキャリアをスタートさせるか、現在のキャリアを発展させましょう!」

機械学習

「識別可能であるが可視性がない:プライバシー保護に配慮した人物再識別スキーム(論文要約)」

人物再識別(Person Re-ID)は、異なる場所や時間で監視カメラを使用して人々を識別するための高度なコンピュータビジョンの...

AIニュース

「二つの小さな言葉で偽の「事実」に立ち向かう」

研究者たちは、大規模言語モデル(LLM)の幻覚を減らす方法を開発しましたLLMのクエリに「によると」を含めることで

AIニュース

ジェネレーティブAIアプリケーションを構築するための最高のPythonツール チートシート

「VoAGI」新しいチートシートは、OpenAIやTransformersなど、ジェネラティブAIアプリを構築するためのトップPythonライブラリ...

AIニュース

「SageMaker Distributionは、Amazon SageMaker Studioで利用可能になりました」

SageMaker Distributionは、機械学習(ML)、データサイエンス、データ可視化のための多くの人気のあるパッケージを含んだ、...