マイクロソフトリサーチがAIコンパイラの「ヘビーメタルカルテット」である「Rammer」「Roller」「Welder」「Grinder」をリリースしました

Microsoft Research has released the AI compiler's 'Heavy Metal Quartet' consisting of 'Rammer', 'Roller', 'Welder', and 'Grinder'.

人工知能(AI)モデルとハードウェアアクセラレータの進化により、コンパイラには独自の課題が生じています。これらの課題は、AIモデルの絶えず変化するアーキテクチャから生じており、RNNやCNNから最近のTransformerなどのモデルへの移行、さらにはGPUやNPUなどのハードウェアアクセラレータの急速な進歩といったものです。その結果、効率的なコンパイルは、これらの新しいAIモデルが現代のハードウェア上で効果的に実行されることを保証するために重要となっています。

従来のAIコンパイラは、通常、深層ニューラルネットワーク(DNN)の実行を最適化する際に制約がありました。現在のコンパイラは、DNNの計算を不透明なライブラリ関数を持つデータフローグラフとして扱い、2段階のスケジューリングによる大幅なオーバーヘッドとハードウェアリソースの未使用を引き起こしています。さらに、AIモデルのデータのパーティショニングとメモリアクセスの最適化は、時間がかかる場合があります。

最後に、ほとんどのAIコンパイラは、主にデータフローの実行を最適化することに焦点を当てており、AIモデル内の制御フローコードの効率的な実行に注意を払っています。この制約は、複雑な制御ロジックを持つモデルに影響を与え、ハードウェアアクセラレーションを十分に活用する能力を妨げます。

Microsoft Researchの研究者グループは、AIコンパイルの特定の側面に対応するために設計された画期的なAIコンパイラのセット「ヘビーメタル・カルテット」を紹介しました。このカルテットには、Rammer、Roller、Welder、Grinderの4つのコンパイラが含まれています。

  • Rammer: Rammerは、AIコンパイルのスケジューリングスペースを二次元平面として再設計し、大規模な並列アクセラレータユニット上でのDNNワークロードの実行を最適化します。Rammerは、この平面上の計算タスクを「ブリック」として配置することで、実行時のスケジューリングオーバーヘッドを最小限に抑え、ハードウェアの利用効率を大幅に向上させます。
  • Roller: Rollerは、データブロックのパーティショニング戦略を効率的に定式化することで、コンパイルの効率を最適化します。既存のコンパイラと比較して、高度に最適化されたカーネルを数秒で生成し、コンパイル時間を3桁改善します。
  • Welder: Welderは、DNNモデルのメモリアクセス効率を包括的に最適化し、メモリ帯域幅と計算コアの利用率のギャップを縮小します。さまざまなDNNモデルとコンパイラで顕著なパフォーマンス向上を実現します。
  • Grinder: Grinderは、AIモデル内の制御フローの実行を最適化し、データフローに制御フローを効率的に統合することで、ハードウェアアクセラレータ上での効率的な実行を実現します。制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮します。

カルテットのパフォーマンスは、複数のデバイスとAIモデルで評価されました。Rammerは最先端のコンパイラを凌駕し、GPUで最大20.1倍の高速化を実現しました。Rollerは、競争力のあるパフォーマンスを維持しながら、コンパイル時間を3桁改善しました。Welderは、より高速な計算コアを持つハードウェアで、既存のフレームワークやコンパイラを最大21.4倍凌駕しました。Grinderは、制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮しました。

結論として、AIモデルとハードウェアが進化し続ける中で、効率的な実行を保証するためのコンパイラの役割はますます重要になっています。このカルテットの貢献は、画像認識からNLPまでさまざまなアプリケーションでより効果的なAI展開の道を開き、結果としてデジタル世界におけるAI技術の能力を向上させるものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

スカイワーク-13B:3.2Tトークン以上のコーパスから学習された大規模言語モデル(LLM)のファミリーを紹介しますこのコーパスは、英語と中国語のテキストから引用されています

バイリンガルLLMは、言語の多様性が共通の課題となっている相互につながった世界で、ますます重要になっています。彼らは言語...

機械学習

WAYVE社がGAIA-1を発表:ビデオ、テキスト、アクション入力を活用して現実的な運転ビデオを作成する自律性のための新しい生成AIモデル

自動車産業は長年、自律走行を目指し、交通を革命化し、道路安全性を高めることを認識してきました。しかし、複雑な現実のシ...

AI研究

「NTUとSenseTimeの研究者が提案するSHERF:単一の入力画像からアニメーション可能な3D人間モデルを復元するための汎用的なHuman NeRFモデル」

人工知能(AI)およびディープラーニングの分野は、常に急速に進化しています。自然言語処理に基づく大規模な言語モデルから...

AIニュース

「NvidiaとiPhoneメーカーのFoxconnが「AI工場」を建設する」というニュースが発表されました」

「フォックスコンの劉氏はBBCに、電気自動車が今後数十年で同社の成長を牽引すると語った」

機械学習

トランスフォーマーにおけるセルフアテンション

「初心者にやさしいセルフアテンションガイドセルフアテンションは、AIの現在の進歩の中で鍵となる「トランスフォーマー」の...

AIニュース

チャットボットは何と言うのか?

「大規模言語モデルの予想外の能力を説明することを目指しています」