アップルの研究者がパラレルスペキュラティブサンプリング(PaSS)を紹介:言語モデルの効率とスケーラビリティにおける飛躍

「アップルの研究者がパラレルスペキュラティブサンプリング(PaSS)を紹介:言語モデルの効率とスケーラビリティの進化」

EPFLの研究者は、Appleとの共同研究で、Parallel Speculative Sampling(PaSS)と呼ばれる仕様採取の新たなアプローチを導入しました。この新たなアプローチにより、単一のモデルを使用して複数のトークンを同時に起草することが可能となり、自己回帰生成と仕様採取の利点を組み合わせることができます。PaSSの評価では、テキストとコードの補完のタスクで有望なパフォーマンスが示されており、モデルの品質を損なうことなく、先読み埋め込みの数がアプローチに与える影響も探求され、最適な数値が見つかりました。

PaSSは、仕様採取の制約事項に対処するために提案されたもので、同じトークナイザを使用する2つのモデルが必要な仕様採取と比較して、単一のモデルで複数のトークンの起草が可能です。自己回帰生成とベースラインメソッドとの比較評価により、PaSSの優れたスピードとパフォーマンスが示されています。テキストとコードの補完のタスクでのテストでは、全体的なモデルの品質を損なうことなく、有望な結果が得られました。また、異なるサンプリング手法を使用したベースラインとの比較により、サンプリングスキームと先読み埋め込みがPaSSのパフォーマンスに与える影響も探求されました。

大規模言語モデルは、自己回帰生成による自然言語処理の制約事項があります。生成されるトークンごとに順方向のパスが必要となり、メモリアクセスと処理時間に影響を与えます。仕様採取は解決策を提供するものの、同じトークナイザを使用する2つのモデルが必要となり、ボトルネックを導入します。PaSSは、2段階の並列デコーディングを利用する方法です。1つ目のトークンは、却下された場合の分布マッチングのために起草から除外され、モデルは並列デコーディングを使用して複数のトークンを同時に生成します。この方法により、全体的なモデルの品質を維持しながら、優れたスピードとパフォーマンスが実現されます。

PaSSは、自己回帰生成と比較して最大30%の高速化が見込まれる言語モデルの生成において、モデルのパフォーマンスを適正範囲内に維持しながら、低い分散性と高い予測性を持つトークンを生成する効果的な手法として証明されています。テキストとコードの補完のタスクにおいてPaSSのパフォーマンスを評価することで、その有効性が実証されています。さらなる改善点として、より高いパフォーマンス向上を目指して、より優れた先読みチケットを利用する方法が提案されています。

将来の研究の方向としては、先読みトークンを利用した並列生成の品質向上を探求することが推奨されており、PaSSのパフォーマンス向上のための有望な手法とみなされています。研究者は、先読みステップ数がPaSSに与える影響についてさらなる調査が必要であると強調しており、ステップ数の増加がアプローチの利点を相殺する可能性があると指摘しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「Googleと一緒にジェネレーティブAIを学びましょう」

「Googleの10の無料コースでジェネラティブAIを学びましょう拡散モデル、エンコーダーデコーダーアーキテクチャ、アテンショ...

機械学習

このAI論文では、大規模言語モデルでの関連しない行動について探求されています:“シミュレートされた株式取引におけるGPT-4の欺瞞的な戦略”

一部の高度なAIシステムが戦略的な欺瞞を行う可能性について懸念が出ています。AIシステムの安全性を評価することに特化したA...

機械学習

医療界はAIに備えているのか? 医師、コンピューターサイエンティスト、政策立案者たちは、慎重な楽観主義を示しています

人工知能の会話が今では主流となり、2023年のMIT-MGB AI Curesカンファレンスの参加者数は過去の年に比べ倍増しました

AI研究

スタンフォード大学の研究者が、シェーディングをツリー構造の表現に効果的かつ効率的に分解する新しい人工知能手法を提案しています

コンピュータビジョンでは、単一の画像から詳細なオブジェクトシェーディングを推論することは長い間難しい課題でした。これ...

AI研究

「ジョンズ・ホプキンス大学の研究者たちは、がんに関連するタンパク質フラグメントを正確に予測することができる深層学習技術を開発しました」

ジョンズ・ホプキンス大学のエンジニアとがん研究者は、最先端の深層学習技術を駆使して、個別のがん治療における画期的な突...

機械学習

「プログラマーの生産性を10倍にするための5つの無料のAIツール」

「これらの5つのAIツールは、プログラマーやコーダーの生活を簡単にするために、コーディングプロジェクトの速度と精度を向上...