アップルの研究者がDeepPCRを公開:通常は順次処理される操作を並列化してニューラルネットワークの推論とトレーニングの速度を向上させる新しい機械学習アルゴリズム

アップルの研究者がDeepPCRを公開:操作の並列化により、ニューラルネットワークの推論とトレーニングの速度を向上させる新たな機械学習アルゴリズム

人工知能や深層学習の進展により、さまざまな革新が実現されています。テキストや画像の合成、分割、分類などの複雑なタスクは、ニューラルネットワークの助けを借りて成功裏に処理されています。しかし、ニューラルネットワークのトレーニングにはコンピューティングの要求があり、適切な結果を得るまでには数日または数週間かかる場合があります。事前に訓練されたモデルの推論も、複雑なデザインの場合には遅くなる場合があります。

並列化技術は深層ニューラルネットワークのトレーニングと推論を高速化します。これらの手法は広く使用されていますが、ニューラルネットワークの一部の操作はまだ順次に実行されています。拡散モデルは、ノイズ低減ステージの続けざまに出力を生成し、前方および後方パスは層ごとに行われます。ステップ数が増えると、これらのプロセスの順次実行は計算上の負担となり、計算のボトルネックにつながる可能性があります。

この問題に対処するために、Appleの研究チームはDeepPCRという独自のアルゴリズムを導入し、ニューラルネットワークのトレーニングと推論を高速化しようとしました。DeepPCRは、一連のLステップを一定の方程式の答えとして認識することによって機能します。チームは、この解を取得するためにParallel Cyclic Reduction (PCR) アルゴリズムを使用しました。DeepPCRの主な利点は、順次プロセスの計算コストをO(L)からO(log2 L)に削減できることです。特にLの値が大きい場合には、この複雑性の削減により速度が向上します。

チームは、DeepPCRの複雑性の低減と高速化の条件を検証するために実験を行いました。DeepPCRを適用して、多層パーセプトロンの前方パスと後方パスを並列化することで、前方パスでは30倍、後方パスでは200倍の高速化を達成しました。

チームはまた、DeepPCRの適応性を示すために、1024層を持つResNetのトレーニングに使用しました。DeepPCRのおかげで、トレーニングは最大7倍速く完了することができます。この技術は、拡散モデルの生成フェーズで使用され、シーケンシャルアプローチよりも11倍高速な生成を行います。

チームは、主な貢献を以下のようにまとめています。

  1. ニューラルネットワークのトレーニングと推論の順次プロセスを並列化するための革新的なアプローチであるDeepPCRを紹介しました。その主な特徴は、列長を表すLをO(L)からO(log2 L)に低減する能力です。
  1. DeepPCRは、多層パーセプトロン(MLP)の前方パスと後方パスを並列化するために使用されました。この技術のパフォーマンスに関する詳細な分析が行われ、基本的な設計パラメータを考慮しながら、高パフォーマンスの領域を特定しました。スピード、解の正確性、メモリ使用量のトレードオフも調査しています。
  1. DeepPCRは、MNISTおよびMNIST、CIFAR-10、CelebAのデータセットで訓練された拡散モデルのディープResNetのトレーニングを高速化するために使用されました。DeepPCRは著しく高速化されている一方で、ResNetトレーニングでは7倍高速化し、拡散モデルの生成では11倍高速化し、シーケンシャルな手法と比較可能な結果を生成します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

Fast.AIディープラーニングコースからの7つの教訓

「最近、Fast.AIのPractical Deep Learning Courseを修了しましたこれまでに多くの機械学習コースを受講してきましたので、比...

AIニュース

「開発者向けの15以上のAIツール(2023年9月)」

GitHub Copilot GitHub Copilotは、市場をリードするAIパワードのコーディングアシスタントです。開発者がより効率的に優れた...

AI研究

「拡散モデルの助けを借りて、画像間の補間を組み込むためのAI研究」についてのAI研究

人工知能は、開発者や研究者の間で最新の話題です。自然言語処理や自然言語理解からコンピュータビジョンまで、AIはほぼすべ...

機械学習

「Vchitectを紹介します:テキストからビデオ(T2V)およびイメージからビデオ(I2V)アプリケーションに適したオープンソースの大規模一般istビデオ作成システム」

“`html 人工知能(AI)の人気が爆発的に高まったことにより、深層生成モデルの大幅な進展が生まれました。これらのモデ...

機械学習

AIの聴覚スキルを革命化する:清華大学とバイトダンスが、高度なオーディオ処理のための画期的なマルチモーダルニューラルネットワーク「SALMONN」を発表

さまざまな自然言語処理アプリケーションでは、テキストベースの大規模言語モデルが印象的であり、人間に近いパフォーマンス...

データサイエンス

スコルテックとAIRIの研究者は、ニューラルネットワークを使用してドメイン間の最適なデータ転送のための新しいアルゴリズムを開発しました

大規模OT(Optimum Transport)とWasserstein GAN(Generative Adversarial Networks)の出現以降、機械学習ではニューラルネ...