アップルの研究者がDeepPCRを公開:通常は順次処理される操作を並列化してニューラルネットワークの推論とトレーニングの速度を向上させる新しい機械学習アルゴリズム

アップルの研究者がDeepPCRを公開:操作の並列化により、ニューラルネットワークの推論とトレーニングの速度を向上させる新たな機械学習アルゴリズム

人工知能や深層学習の進展により、さまざまな革新が実現されています。テキストや画像の合成、分割、分類などの複雑なタスクは、ニューラルネットワークの助けを借りて成功裏に処理されています。しかし、ニューラルネットワークのトレーニングにはコンピューティングの要求があり、適切な結果を得るまでには数日または数週間かかる場合があります。事前に訓練されたモデルの推論も、複雑なデザインの場合には遅くなる場合があります。

並列化技術は深層ニューラルネットワークのトレーニングと推論を高速化します。これらの手法は広く使用されていますが、ニューラルネットワークの一部の操作はまだ順次に実行されています。拡散モデルは、ノイズ低減ステージの続けざまに出力を生成し、前方および後方パスは層ごとに行われます。ステップ数が増えると、これらのプロセスの順次実行は計算上の負担となり、計算のボトルネックにつながる可能性があります。

この問題に対処するために、Appleの研究チームはDeepPCRという独自のアルゴリズムを導入し、ニューラルネットワークのトレーニングと推論を高速化しようとしました。DeepPCRは、一連のLステップを一定の方程式の答えとして認識することによって機能します。チームは、この解を取得するためにParallel Cyclic Reduction (PCR) アルゴリズムを使用しました。DeepPCRの主な利点は、順次プロセスの計算コストをO(L)からO(log2 L)に削減できることです。特にLの値が大きい場合には、この複雑性の削減により速度が向上します。

チームは、DeepPCRの複雑性の低減と高速化の条件を検証するために実験を行いました。DeepPCRを適用して、多層パーセプトロンの前方パスと後方パスを並列化することで、前方パスでは30倍、後方パスでは200倍の高速化を達成しました。

チームはまた、DeepPCRの適応性を示すために、1024層を持つResNetのトレーニングに使用しました。DeepPCRのおかげで、トレーニングは最大7倍速く完了することができます。この技術は、拡散モデルの生成フェーズで使用され、シーケンシャルアプローチよりも11倍高速な生成を行います。

チームは、主な貢献を以下のようにまとめています。

  1. ニューラルネットワークのトレーニングと推論の順次プロセスを並列化するための革新的なアプローチであるDeepPCRを紹介しました。その主な特徴は、列長を表すLをO(L)からO(log2 L)に低減する能力です。
  1. DeepPCRは、多層パーセプトロン(MLP)の前方パスと後方パスを並列化するために使用されました。この技術のパフォーマンスに関する詳細な分析が行われ、基本的な設計パラメータを考慮しながら、高パフォーマンスの領域を特定しました。スピード、解の正確性、メモリ使用量のトレードオフも調査しています。
  1. DeepPCRは、MNISTおよびMNIST、CIFAR-10、CelebAのデータセットで訓練された拡散モデルのディープResNetのトレーニングを高速化するために使用されました。DeepPCRは著しく高速化されている一方で、ResNetトレーニングでは7倍高速化し、拡散モデルの生成では11倍高速化し、シーケンシャルな手法と比較可能な結果を生成します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

マイクロソフトの研究者たちは「エモーションプロンプト」を発表しました:複数の言語モデルにおけるAIの感情的知性を向上させる

感情的知性は、人間の質の多様なモザイクの中に位置する歴史的な要素です。感情の理解は、感情的なデータを正しく認識し処理...

データサイエンス

ラベルなしでオーディオビジュアル学習をスケーリングする

新しいマルチモーダル技術は、主要な自己教師あり学習手法をブレンドして、人間に似た学習を行います

データサイエンス

「コンパートメント化拡散モデル(CDM) 異なるデータソース上で異なる拡散モデルまたはプロンプトをトレーニングするためのAIアプローチ」

最近の技術の進歩と人工知能の分野における発展により、多くの進展がありました。有名なChatGPTモデルを使用したテキスト生成...

AIニュース

「IIT卒業生のAIによるカバーレターが皆を爆笑させる」

事件の風刺的な展開の中で、あるIIT(インド工科大学)の卒業生が人工知能を活用してカバーレターを作成しようとした結果、大...

機械学習

統合と自動化の簡素化:Boomi CTOが開発者と共有するビジョン

アイと自動化を活用した民主化された統合プラットフォームは、複雑なタスクを単純化し、持続的な進化を推進します

機械学習

このAI論文は、RetNetとTransformerの融合であるRMTを紹介し、コンピュータビジョンの効率と精度の新しい時代を開拓しています

NLPにデビューした後、Transformerはコンピュータビジョンの領域に移され、特に効果的であることが証明されました。それに対...