「MITとNVIDIAの研究者が、要求の厳しい機械学習タスクの速度とパフォーマンスを劇的に向上させることができる、2つの補完的な技術を開発しました」

「MITとNVIDIAの研究者が、要求の厳しい機械学習タスクのスピードとパフォーマンスを劇的に向上させる、2つの相補的な技術を開発」

MITとNVIDIAの研究者は、スパーステンソルの処理を加速する2つの技術を開発しました(テンソルは、機械学習モデルにおいて基本的なデータ構造として機能し、データを整理・格納する多次元配列の役割を果たす)。両方の新技術の目標は、テンソルのゼロ値を効果的に活用することです。ゼロを処理せずにこれらのテンソルを扱うことができるため、メモリと計算を節約できます。例えば、何かをゼロと掛け合わせると結果はゼロになるため、その演算はスキップできます。さらに、テンソルを圧縮することもできるため、ゼロを保持する必要がないため、オンチップメモリにより多くを格納することができます。

テンソルのスパース性は、不要な要素がゼロで置き換えられることによって発生します。この過程はプルーニングと呼ばれます。スパース性の度合いやゼロの位置はモデルによって異なる場合があります。研究者は、非ゼロ値の位置を制約することで、大型モデル内でそれらを特定しやすくすることがよくあります。ハードウェアアクセラレータの適応性は、通常特定のスパースパターンに対して設計されているため限られています。

研究チームは、さまざまなスパースパターンを効率的に処理することができるハードウェアアクセラレータ「HighLight」を開発しました。研究者は、単純なものから構成される異なるタイプのスパースパターンを効率的に表現するために、階層的な構造を使用しました。この方法では、1つのセット内の数字をより小さなグループに分割し、各グループが単純なパターンに従います。これらの小さなグループは、階層を形成するより大きなグループに組み合わされます。グループの集合ごとに単純なパターン(4つのグループからなるレベルでは、ゼロのグループが1つあり、ゼロのないグループが3つあるなど)に従います。このプロセスはより大きなレベルでも続きますが、各ステップでパターンは単純なままです。

この単純さにより、HighLightはゼロをより効率的に見つけてスキップし、余分な計算を削減する機会を最大限に活用することができます。彼らのアクセラレータデザインでは、他の手法と比較してエネルギー遅延積(エネルギー効率に関連する指標)が約6倍良くなりました。

研究者はまた、スパース性を活用してコンピュータチップ上でデータの移動と処理をより効率的に行うこともできます。テンソルは通常、チップ上のメモリバッファに格納できる容量を超える場合があるため、チップは一度に1つのチャンク(タイルと呼ばれる)を取得して処理します。バッファの容量を最大限に活用し、チップが外部メモリにアクセスする頻度を最小限に抑えるため、できるだけ大きなタイルを使用することを目指します。

多くのデータ値がゼロであるため、ゼロの値を格納する必要はなく、バッファにはその生の容量よりも大きなタイルが収まることができます。ただし、ゼロの値の数はデータの異なる部分で異なるため、各タイルにも異なる場合があります。

これに対処するため、研究グループはタイルサイズを拡大するためのオーバーブッキング技術を提案しました。スパースデータセットでは、ほとんどのタイルにゼロが十分に収まるようにタイルサイズを選択することができます。場合によっては、タイルに非ゼロ値がバッファに収まりきらないほど多く含まれることがあります。この場合、これらの余剰データはバッファから押し出されます。

研究グループは、最適化されたタイルサイズを特定するためにテンソルを複数回検査する頻度を減らす方法として、「Tailors」という手法を提案しました。これにより、オーバーブッキングの利点を活用することが可能です。重要な推定誤差があっても、特定の非ゼロ値の分布により、著しいスピードアップが実現できます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「MatFormerをご紹介します:プラットフォーム間で柔軟なモデル展開を可能にする、汎用なネストされたTransformerアーキテクチャ」

Transformerモデルは、強力なマルチアクセラレータクラスタから個々のモバイルデバイスまで、さまざまなアプリケーションで使...

AI研究

ミシガン州立大学の研究者たちは、規模の大きな一細胞遺伝子発現の分析をサポートするためのPythonライブラリ「DANCE」を開発しました

単一モダリティのプロファイリング(RNA、タンパク質、オープンクロマチン)から多モダリティのプロファイリングや空間的トラ...

機械学習

このAIニュースレターは、あなたが必要とするすべてです #66

AIの今週のトピックスでは、OpenAIが再び注目を浴びましたChatGPTに新たな音声と画像の機能を追加する計画が発表されたからで...

AI研究

MITとETH Zurichの研究者たちが、動的なセパレータの選択を通じて、拡張された混合整数線形計画法(MILP)の解決を目的とした機械学習技術を開発しました

複雑な最適化問題に効率的に取り組むことは、グローバルパッケージルーティングから電力グリッド管理まで、持続的な課題です...

データサイエンス

「2023年におけるトレーニング・テスト・検証分割の包括的なガイド」

イントロダクション 監督学習の目標は、新しいデータセットで良いパフォーマンスを発揮するモデルを構築することです。問題は...

機械学習

NLPとAIを利用したPythonにおけるテンプレートベースの文書生成の力

Pythonを利用したテンプレートベースの文書生成の機能をNLPやAIの機能と融合させ、その力を活用してください文書生成の作業フ...