マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して超効率的で量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して効率的かつ量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

ディープラーニングの領域では、高性能と最小の遅延を組み合わせた効率的なディープニューラルネットワーク(DNN)モデルを、さまざまなデバイスで開発するという課題が残っています。既存のアプローチでは、特定のハードウェアセットアップに対してモデル設計を自動化するために、ハードウェアに対応したニューラルアーキテクチャサーチ(NAS)が使用されており、あらかじめ定義されたサーチスペースとサーチアルゴリズムが含まれています。しかし、このアプローチではサーチスペースの最適化を見落としてしまう傾向があります。

この課題に対応するため、研究チームは「SpaceEvo」という新しい手法を導入しました。この手法は、特定のハードウェアプラットフォームで効率的なINT8推論を実現するために、専用のサーチスペースを自動的に作成するものです。SpaceEvoの特徴は、この設計プロセスを自動的に行う能力であり、ハードウェア固有の、量子化に適したNASのサーチスペースを実現します。

SpaceEvoの軽量な設計は実用的で、ハードウェア固有のソリューションを作成するためにわずか25時間のGPU時間しか必要としません。これはコスト効果的です。この専用のサーチスペースは、ハードウェアに適したオペレータと構成を持ち、低いINT8遅延を持つより効率的なモデルの探索を可能にし、既存の代替手法を常に上回ります。

研究者たちは、広く使用されている2つのデバイス上でINT8量子化された遅延要因について詳細な分析を行い、オペレータの種類と構成の選択がINT8遅延に大きく影響することを明らかにしました。SpaceEvoはこれらの結果を考慮に入れ、サーチスペース内で正確かつINT8遅延に優れたアーキテクチャの多様な集団を作成します。進化的なサーチアルゴリズム、メトリックとしてのQ-Tスコア、再設計されたサーチアルゴリズム、ブロック単位のサーチスペース量子化スキームを組み込んでいます。

2段階のNASプロセスにより、候補モデルは個別の微調整や量子化なしにも比較可能な量子化精度を達成することができます。現実世界のエッジデバイスとImageNetでの幅広い実験により、SpaceEvoは手動で設計されたサーチスペースを常に上回り、INT8量子化の精度と遅延のトレードオフにおいて新たな基準を設定します。

まとめると、SpaceEvoは多様な現実世界のエッジデバイス向け効率的なディープラーニングモデルの追求において、重要な進展を示しています。量子化に適したサーチスペースの自動設計は、エッジコンピューティングソリューションの持続可能性を向上させる可能性があります。研究者たちは、これらの手法を変換器などのさまざまなモデルアーキテクチャに適応し、ディープラーニングモデルの設計と効率的な展開の役割をさらに拡大する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

AlluxioがAI最適化されたデータプラットフォームを発表し、より高速なMLパイプラインを提供します

「AIイニシアチブの価値実現を加速させるために、AIと機械学習のワークロードのフルポテンシャルを引き出す簡素化されたデー...

AI研究

Google AI研究のTranslatotron 3:革新的な教師なし音声対音声翻訳アーキテクチャの発表

音声から音声への翻訳(S2ST)は、言語の壁を取り払うための画期的な技術ですが、並行音声データの不足がその進展を妨げてき...

人工知能

人工知能を規制するための競争

なぜヨーロッパがアメリカや中国に比べて優位に立っているのか

AI研究

拡張版:NVIDIAがビデオ編集のためのMaxineを拡大し、3D仮想会議の研究を披露

プロフェッショナル、チーム、クリエイターなどは、NVIDIA Maxineの助けを借りて、標準のマイクやウェブカメラを使用しても高...

データサイエンス

デノイザーの夜明け:表形式のデータ補完のためのマルチ出力MLモデル

表形式のデータにおける欠損値の扱いは、データサイエンスにおける基本的な問題ですこの記事では、デノイジングに関する文献...

機械学習

「OpenAIは、パーソナライズされたAIインタラクションのためのChatGPTのカスタムインストラクションを開始」

OpenAIは、AI言語モデルChatGPTのユーザーコントロールを向上させるために、新しい機能「カスタムインストラクション」を導入...