マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して超効率的で量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して効率的かつ量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

ディープラーニングの領域では、高性能と最小の遅延を組み合わせた効率的なディープニューラルネットワーク(DNN)モデルを、さまざまなデバイスで開発するという課題が残っています。既存のアプローチでは、特定のハードウェアセットアップに対してモデル設計を自動化するために、ハードウェアに対応したニューラルアーキテクチャサーチ(NAS)が使用されており、あらかじめ定義されたサーチスペースとサーチアルゴリズムが含まれています。しかし、このアプローチではサーチスペースの最適化を見落としてしまう傾向があります。

この課題に対応するため、研究チームは「SpaceEvo」という新しい手法を導入しました。この手法は、特定のハードウェアプラットフォームで効率的なINT8推論を実現するために、専用のサーチスペースを自動的に作成するものです。SpaceEvoの特徴は、この設計プロセスを自動的に行う能力であり、ハードウェア固有の、量子化に適したNASのサーチスペースを実現します。

SpaceEvoの軽量な設計は実用的で、ハードウェア固有のソリューションを作成するためにわずか25時間のGPU時間しか必要としません。これはコスト効果的です。この専用のサーチスペースは、ハードウェアに適したオペレータと構成を持ち、低いINT8遅延を持つより効率的なモデルの探索を可能にし、既存の代替手法を常に上回ります。

研究者たちは、広く使用されている2つのデバイス上でINT8量子化された遅延要因について詳細な分析を行い、オペレータの種類と構成の選択がINT8遅延に大きく影響することを明らかにしました。SpaceEvoはこれらの結果を考慮に入れ、サーチスペース内で正確かつINT8遅延に優れたアーキテクチャの多様な集団を作成します。進化的なサーチアルゴリズム、メトリックとしてのQ-Tスコア、再設計されたサーチアルゴリズム、ブロック単位のサーチスペース量子化スキームを組み込んでいます。

2段階のNASプロセスにより、候補モデルは個別の微調整や量子化なしにも比較可能な量子化精度を達成することができます。現実世界のエッジデバイスとImageNetでの幅広い実験により、SpaceEvoは手動で設計されたサーチスペースを常に上回り、INT8量子化の精度と遅延のトレードオフにおいて新たな基準を設定します。

まとめると、SpaceEvoは多様な現実世界のエッジデバイス向け効率的なディープラーニングモデルの追求において、重要な進展を示しています。量子化に適したサーチスペースの自動設計は、エッジコンピューティングソリューションの持続可能性を向上させる可能性があります。研究者たちは、これらの手法を変換器などのさまざまなモデルアーキテクチャに適応し、ディープラーニングモデルの設計と効率的な展開の役割をさらに拡大する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

データ駆動型の世界で理解すべき重要な統計的アイデア4つ

2023年にデータリテラシーを持つためには、サンプリング、不確実性、AI、機械学習、そして統計的な主張の解釈といった基本的...

機械学習

「トランスフォーマーアーキテクチャとBERT、GPT、T5の台頭:初心者向けガイド」

「人工知能(AI)の広大で絶えず進化する領域において、印象を残すだけでなく、その全体の軌道を再定義する革新が存在します...

機械学習

MLモデルのDocker化:デプロイメントガイド

この包括的なML愛好家向けガイドは、Dockerを使用してMLモデルのパッケージ化と実行についての旅に連れて行きます

データサイエンス

AI、デジタルツインが次世代の気候研究イノベーションを解き放つ

AIと高速計算は、気候研究者が気候研究のブレークスルーを達成するために必要な奇跡を実現するのに役立つだろう、とNVIDIAの...

機械学習

「時を歩く:SceNeRFlowは時間的一貫性を持つNeRFを生成するAIメソッドです」

ニューラル レディアンス フィールド(NeRF)は、最近3D領域で革新的なコンセプトとして浮上しました。それは、3Dオブジェク...

人工知能

AGI(人工汎用知能)にどれくらい近づいているのでしょうか?

AIは人間の知性を超えることができるのでしょうか? 現在の進歩とAGIの課題を取り上げた記事