マイクロソフトリサーチがAIコンパイラの「ヘビーメタルカルテット」である「Rammer」「Roller」「Welder」「Grinder」をリリースしました

Microsoft Research has released the AI compiler's 'Heavy Metal Quartet' consisting of 'Rammer', 'Roller', 'Welder', and 'Grinder'.

人工知能(AI)モデルとハードウェアアクセラレータの進化により、コンパイラには独自の課題が生じています。これらの課題は、AIモデルの絶えず変化するアーキテクチャから生じており、RNNやCNNから最近のTransformerなどのモデルへの移行、さらにはGPUやNPUなどのハードウェアアクセラレータの急速な進歩といったものです。その結果、効率的なコンパイルは、これらの新しいAIモデルが現代のハードウェア上で効果的に実行されることを保証するために重要となっています。

従来のAIコンパイラは、通常、深層ニューラルネットワーク(DNN)の実行を最適化する際に制約がありました。現在のコンパイラは、DNNの計算を不透明なライブラリ関数を持つデータフローグラフとして扱い、2段階のスケジューリングによる大幅なオーバーヘッドとハードウェアリソースの未使用を引き起こしています。さらに、AIモデルのデータのパーティショニングとメモリアクセスの最適化は、時間がかかる場合があります。

最後に、ほとんどのAIコンパイラは、主にデータフローの実行を最適化することに焦点を当てており、AIモデル内の制御フローコードの効率的な実行に注意を払っています。この制約は、複雑な制御ロジックを持つモデルに影響を与え、ハードウェアアクセラレーションを十分に活用する能力を妨げます。

Microsoft Researchの研究者グループは、AIコンパイルの特定の側面に対応するために設計された画期的なAIコンパイラのセット「ヘビーメタル・カルテット」を紹介しました。このカルテットには、Rammer、Roller、Welder、Grinderの4つのコンパイラが含まれています。

  • Rammer: Rammerは、AIコンパイルのスケジューリングスペースを二次元平面として再設計し、大規模な並列アクセラレータユニット上でのDNNワークロードの実行を最適化します。Rammerは、この平面上の計算タスクを「ブリック」として配置することで、実行時のスケジューリングオーバーヘッドを最小限に抑え、ハードウェアの利用効率を大幅に向上させます。
  • Roller: Rollerは、データブロックのパーティショニング戦略を効率的に定式化することで、コンパイルの効率を最適化します。既存のコンパイラと比較して、高度に最適化されたカーネルを数秒で生成し、コンパイル時間を3桁改善します。
  • Welder: Welderは、DNNモデルのメモリアクセス効率を包括的に最適化し、メモリ帯域幅と計算コアの利用率のギャップを縮小します。さまざまなDNNモデルとコンパイラで顕著なパフォーマンス向上を実現します。
  • Grinder: Grinderは、AIモデル内の制御フローの実行を最適化し、データフローに制御フローを効率的に統合することで、ハードウェアアクセラレータ上での効率的な実行を実現します。制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮します。

カルテットのパフォーマンスは、複数のデバイスとAIモデルで評価されました。Rammerは最先端のコンパイラを凌駕し、GPUで最大20.1倍の高速化を実現しました。Rollerは、競争力のあるパフォーマンスを維持しながら、コンパイル時間を3桁改善しました。Welderは、より高速な計算コアを持つハードウェアで、既存のフレームワークやコンパイラを最大21.4倍凌駕しました。Grinderは、制御フロー集中型のDNNモデルに対して8.2倍の高速化を実現し、制御フローに対するDNNコンパイラの中で最速の性能を発揮しました。

結論として、AIモデルとハードウェアが進化し続ける中で、効率的な実行を保証するためのコンパイラの役割はますます重要になっています。このカルテットの貢献は、画像認識からNLPまでさまざまなアプリケーションでより効果的なAI展開の道を開き、結果としてデジタル世界におけるAI技術の能力を向上させるものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「2023年の人工知能(AI)と機械学習に関連するサブレディットコミュニティ15選」

人工知能(AI)と機械学習の世界では、最新のトレンド、ブレイクスルー、議論について最新情報を得ることが重要です。インタ...

AIニュース

「最もテクノロジー志向のある米国の都市は、自動運転車について疑問を抱いています」

サンフランシスコの役人や住民は自動運転車に感銘を受けていませんこれは自律型車両企業にとって前に立ちはだかる課題を強調...

機械学習

「Amazon Textract、Amazon Bedrock、およびLangChainによるインテリジェントドキュメント処理」

今日の情報時代において、無数の書類に収められた膨大なデータ量は、企業にとって挑戦と機会を同時にもたらします従来の書類...

AIニュース

「現実世界でのPythonのトップ10の使用例」

Pythonは使いやすさ、読みやすさ、豊富なライブラリサポートにより、ソフトウェア開発の世界を変えた多目的かつパワフルなプ...

AIニュース

「2023年のトップ50以上のAIコーディングアシスタントツール」

ChatGPT ChatGPTは、既存のコード参照に頼らずにコードを書くことができます。さらに、ユーザーのコードを効率的にデバッグす...

AIニュース

「AIの創造性の測定」 AIの創造性を測定する

人工知能の創造力を定量化するには、創造性の定義を理解する必要があります