マイクロソフトリサーチがAIコンパイラの「ヘビーメタルカルテット」である「Rammer」「Roller」「Welder」「Grinder」をリリースしました

Microsoft Research has released the AI compiler's 'Heavy Metal Quartet' consisting of 'Rammer', 'Roller', 'Welder', and 'Grinder'.

人工知能（AI）モデルとハードウェアアクセラレータの進化により、コンパイラには独自の課題が生じています。これらの課題は、AIモデルの絶えず変化するアーキテクチャから生じており、RNNやCNNから最近のTransformerなどのモデルへの移行、さらにはGPUやNPUなどのハードウェアアクセラレータの急速な進歩といったものです。その結果、効率的なコンパイルは、これらの新しいAIモデルが現代のハードウェア上で効果的に実行されることを保証するために重要となっています。

従来のAIコンパイラは、通常、深層ニューラルネットワーク（DNN）の実行を最適化する際に制約がありました。現在のコンパイラは、DNNの計算を不透明なライブラリ関数を持つデータフローグラフとして扱い、2段階のスケジューリングによる大幅なオーバーヘッドとハードウェアリソースの未使用を引き起こしています。さらに、AIモデルのデータのパーティショニングとメモリアクセスの最適化は、時間がかかる場合があります。

最後に、ほとんどのAIコンパイラは、主にデータフローの実行を最適化することに焦点を当てており、AIモデル内の制御フローコードの効率的な実行に注意を払っています。この制約は、複雑な制御ロジックを持つモデルに影響を与え、ハードウェアアクセラレーションを十分に活用する能力を妨げます。

• 韓国の研究者がVITS2を提案：自然さと効率性の向上のためのシングルステージのテキスト読み上げモデルにおける飛躍的な進歩
• このAI研究は、OpenAIの埋め込みを使用した強力なベクトル検索のためのLuceneの統合を提案します
• 「NTUシンガポールの研究者が、3Dポイントクラウドからの正確な人間のポーズと形状の推定のためのAIフレームワークであるPointHPSを提案する」という文です

Microsoft Researchの研究者グループは、AIコンパイルの特定の側面に対応するために設計された画期的なAIコンパイラのセット「ヘビーメタル・カルテット」を紹介しました。このカルテットには、Rammer、Roller、Welder、Grinderの4つのコンパイラが含まれています。

• Rammer： Rammerは、AIコンパイルのスケジューリングスペースを二次元平面として再設計し、大規模な並列アクセラレータユニット上でのDNNワークロードの実行を最適化します。Rammerは、この平面上の計算タスクを「ブリック」として配置することで、実行時のスケジューリングオーバーヘッドを最小限に抑え、ハードウェアの利用効率を大幅に向上させます。
• Roller： Rollerは、データブロックのパーティショニング戦略を効率的に定式化することで、コンパイルの効率を最適化します。既存のコンパイラと比較して、高度に最適化されたカーネルを数秒で生成し、コンパイル時間を3桁改善します。
• Welder： Welderは、DNNモデルのメモリアクセス効率を包括的に最適化し、メモリ帯域幅と計算コアの利用率のギャップを縮小します。さまざまなDNNモデルとコンパイラで顕著なパフォーマンス向上を実現します。
• Grinder： Grinderは、AIモデル内の制御フローの実行を最適化し、データフローに制御フローを効率的に統合することで、ハードウェアアクセラレータ上での効率的な実行を実現します。制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮します。

カルテットのパフォーマンスは、複数のデバイスとAIモデルで評価されました。Rammerは最先端のコンパイラを凌駕し、GPUで最大20.1倍の高速化を実現しました。Rollerは、競争力のあるパフォーマンスを維持しながら、コンパイル時間を3桁改善しました。Welderは、より高速な計算コアを持つハードウェアで、既存のフレームワークやコンパイラを最大21.4倍凌駕しました。Grinderは、制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮しました。

結論として、AIモデルとハードウェアが進化し続ける中で、効率的な実行を保証するためのコンパイラの役割はますます重要になっています。このカルテットの貢献は、画像認識からNLPまでさまざまなアプリケーションでより効果的なAI展開の道を開き、結果としてデジタル世界におけるAI技術の能力を向上させるものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!