「Microsoftの研究者がPIT（Permutation Invariant Transformation）を提案：動的まばらさのためのディープラーニングコンパイラ」

「マイクロソフトの研究者がPIT（Permutation Invariant Transformation）を提案：ダイナミックなスパースネスのためのディープラーニングコンパイラ」

“`html

最近、深層学習は動的スパース性に最適化されたモデルの研究によって注目されています。このシナリオでは、スパース性パターンはランタイムでのみ明らかにされ、効率的な計算にとって大きな課題を提起しています。この課題に直接対処するため、研究者グループはPermutation Invariant Transformation（PIT）という革新的な解決策を提案しました。これは、第29回ACMオペレーティングシステム原則シンポジウムで彼らの最新の研究で紹介されています。

スパース性を考慮した深層学習の最先端ソリューションは、伝統的に事前に定義された静的スパース性パターンに苦しんできました。問題は、前処理に関連する大きなオーバーヘッドであり、ランタイム中のみ知られている動的なスパース性パターンを効果的に処理できないという制約にあります。研究者たちは、動的スパース計算の効率的な実行が、GPUに対応したタイル構成（高いGPU利用率を実現するために重要）と捨てられることのない非ゼロ値のテンソル内の計算に寄与しない領域を最小限に抑えるスパース性対応タイルの形状との間の基本的な不整合に直面することを認識しています。

PITとは、最適化領域の新たな方向性を切り開くディープラーニングコンパイラです。PITは、数学的に証明されたPermutation Invariant Transformationを活用します。この変換により、計算結果を変えずに、複数のまばらに配置されたマイクロタイルをGPUに効率的な密集タイルに統合することが可能になります。この戦略的な操作により、高いGPU利用率と最小限の領域浪費をバランス良く実現し、動的スパース性の取り扱いにおいてパラダイムシフトをもたらします。

• ETH Zurichの研究者が、推論中に0.3%のニューロンしか使用しないが、同様のBERTモデルと同等の性能を発揮するUltraFastBERTを紹介しました
• 「マクマスター大学とFAIRメタリサーチャーズは、電子密度を正規化フローによるパラメータ化する新しい機械学習アプローチを提案しました」
• 中国の研究者が、ビデオ・LLaVAを紹介します：シンプルでパワフルな大規模ビジュアル言語ベースラインモデル

PITのワークフローは、指定モデル内のすべてのオペレータに対して実行可能なPITルールを特定することから始まります。これらのルールは、動的スパース性の特定要件に合わせて作成された効率的なGPUカーネルの生成の設計図として機能します。重要なのは、このプロセスがランタイムで行われるため、PITがスパース性パターンが解き明かされるにつれてダイナミックに適応できるという点です。この実装には、PITルールを迅速に実行するための2つの重要なプリミティブ、SReadとSWriteが含まれています。

PITのオンラインスパース性検出および疎密なデータ変換メカニズムは、重要な役割を果たしています。Permutation Invariant Transformationは、PITがマイクロタイルから計算効率の高い密集タイルを構築することを可能にし、GPUに対応した構成と一致します。これは、従来の解決策がオフラインのデータ再配置に関連する著しいオーバーヘッドに苦しんでいることとは対照的です。

研究者たちはPITを様々なモデルでテストし、包括的な評価を行いました。その結果、PITは最先端のコンパイラと比較して、動的スパース計算の加速において最大5.9倍の性能向上を示しました。このパフォーマンスの向上は、動的スパース性によってもたらされる計算上の課題へのPITの具体的な影響を示しています。

PITの貢献は、疎なトレーニングシナリオにも広がり、その柔軟性と堅牢性をさらに確かなものとしています。この研究は、単なる新しい手法を提案するだけでなく、動的スパース性の取り扱いに対する包括的なツールキットを提供し、ディープラーニング最適化の分野における革新的な進展の舞台を構築しています。

まとめると、この研究で紹介された画期的な動的スパース性最適化ツールは、Permutation Invariant Transformation（PIT）の力を活用し、GPUに対応したタイル構成とスパース性対応タイルの整合性の課題に取り組むだけでなく、効率の面で深層学習の新たな時代を切り開きます。計算効率の驚異的な加速、多様なモデルの取り扱いの柔軟性、疎なトレーニングシナリオでの潜在的な応用性を考えると、この研究は動的スパース性適応の革命的な進展に向けた基盤を築き、ディープラーニング最適化の常に進化する景色において重要な役割を果たす存在となっています。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!