マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して超効率的で量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

マイクロソフトの研究者が「SpaceEvo」を紹介:現実世界のデバイスに対して効率的かつ量子化されたニューラルネットワークを設計する画期的なゲームチェンジャー

ディープラーニングの領域では、高性能と最小の遅延を組み合わせた効率的なディープニューラルネットワーク(DNN)モデルを、さまざまなデバイスで開発するという課題が残っています。既存のアプローチでは、特定のハードウェアセットアップに対してモデル設計を自動化するために、ハードウェアに対応したニューラルアーキテクチャサーチ(NAS)が使用されており、あらかじめ定義されたサーチスペースとサーチアルゴリズムが含まれています。しかし、このアプローチではサーチスペースの最適化を見落としてしまう傾向があります。

この課題に対応するため、研究チームは「SpaceEvo」という新しい手法を導入しました。この手法は、特定のハードウェアプラットフォームで効率的なINT8推論を実現するために、専用のサーチスペースを自動的に作成するものです。SpaceEvoの特徴は、この設計プロセスを自動的に行う能力であり、ハードウェア固有の、量子化に適したNASのサーチスペースを実現します。

SpaceEvoの軽量な設計は実用的で、ハードウェア固有のソリューションを作成するためにわずか25時間のGPU時間しか必要としません。これはコスト効果的です。この専用のサーチスペースは、ハードウェアに適したオペレータと構成を持ち、低いINT8遅延を持つより効率的なモデルの探索を可能にし、既存の代替手法を常に上回ります。

研究者たちは、広く使用されている2つのデバイス上でINT8量子化された遅延要因について詳細な分析を行い、オペレータの種類と構成の選択がINT8遅延に大きく影響することを明らかにしました。SpaceEvoはこれらの結果を考慮に入れ、サーチスペース内で正確かつINT8遅延に優れたアーキテクチャの多様な集団を作成します。進化的なサーチアルゴリズム、メトリックとしてのQ-Tスコア、再設計されたサーチアルゴリズム、ブロック単位のサーチスペース量子化スキームを組み込んでいます。

2段階のNASプロセスにより、候補モデルは個別の微調整や量子化なしにも比較可能な量子化精度を達成することができます。現実世界のエッジデバイスとImageNetでの幅広い実験により、SpaceEvoは手動で設計されたサーチスペースを常に上回り、INT8量子化の精度と遅延のトレードオフにおいて新たな基準を設定します。

まとめると、SpaceEvoは多様な現実世界のエッジデバイス向け効率的なディープラーニングモデルの追求において、重要な進展を示しています。量子化に適したサーチスペースの自動設計は、エッジコンピューティングソリューションの持続可能性を向上させる可能性があります。研究者たちは、これらの手法を変換器などのさまざまなモデルアーキテクチャに適応し、ディープラーニングモデルの設計と効率的な展開の役割をさらに拡大する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

『アクション-ユニオン・ラーニングによる人間-ロボットインタラクションのための弱教師アクションセグメンテーションの改善』と題する 富士通の新しいAIリサーチが発表されました

人間の行動認識の最近の進展は、人間とロボットの相互作用(HRI)において驚くべきブレークスルーを実現しました。この技術によ...

AI研究

「MIT研究者がLILOを導入:プログラム合成のための解釈可能なライブラリを学ぶための神経シンボリックフレームワーク」

ビッグ言語モデル(LLM)は、プログラムのさまざまな文脈でプログラムする能力がますます高度になっており、部分的に書かれた...

機械学習

「Zephyr-7Bの内部:HuggingFaceの超最適化LLM、より大きなモデルを上回り続けている」

ZEPHYR-7Bは、AIコミュニティで非常に好評を得ている新世代の大型言語モデル(LLM)の1つですHugging Faceによって作成された...

コンピュータサイエンス

「A.I. Doomerismの白熱の中心に入ってみよう」

安全を重視するA.I.スタートアップのAnthropicは、ChatGPTと競争しながらA.I.の黙示録を防ぐことを試みています少しストレス...

AIニュース

「OpenAIがDall E-3を発売!次世代AIイメージ生成器!」

AI画像生成の世界では、OpenAIは最新作のDall E-3で華々しい登場を準備しています。テキストから画像を生成するモデルであるD...