IBMの研究者が、深層学習推論のためのアナログAIチップを紹介:スケーラブルなミックスドシグナルアーキテクチャの重要な構成要素を披露

IBM researchers introduce analog AI chip for deep learning inference.

AI革命が進行中であり、ライフスタイルや職場を再構築することが期待されています。深層ニューラルネットワーク(DNN)は、基盤モデルと生成AIの出現により重要な役割を果たしています。しかし、これらのモデルをホストする従来のデジタルコンピューティングフレームワークは、パフォーマンスとエネルギー効率の潜在的な制約となっています。AI固有のハードウェアが登場していますが、多くの設計ではメモリと処理ユニットを分離しているため、データのシャッフルと効率の低下が生じます。

IBM Researchは、AI計算を再構想するための革新的な方法を追求しており、アナログインメモリコンピューティングまたはアナログAIという概念を提案しています。このアプローチは、神経回路網がニューロンの通信を制御するシナプスの強度から着想を得ています。アナログAIは、相変化メモリ(PCM)などのナノスケールの抵抗デバイスを使用して、導電性の値としてシナプスの重みを格納します。PCMデバイスは非終励性を持ち、範囲の値をエンコードし、重みをローカルに保存することができます。

IBM Researchは、最近のNature Electronics誌で、アナログAIの実現に向けて重要な進展を達成しました。彼らは、さまざまなDNN推論タスクに適した最先端のミックスドシグナルアナログAIチップを紹介しました。このチップは、IBMのアルバニーナノテックコンプレックスで製造され、各々が256×256のクロスバーアレイのシナプスユニットセルを持つ64個のアナログインメモリコンピュートコアを特徴としています。統合されたコンパクトな時間ベースのアナログ・デジタル変換器により、アナログとデジタルのドメイン間のシームレスな切り替えが可能となっています。さらに、各コア内のデジタル処理ユニットは基本的なニューロン活性化関数とスケーリング演算を処理します。

このチップのアーキテクチャにより、各コアはDNNレイヤーに関連する計算を処理する能力を持っています。シナプスの重みはPCMデバイスにアナログ導電値としてエンコードされます。グローバルなデジタル処理ユニットは、特定のニューラルネットワークの実行に重要な複雑な操作を管理します。チップのデジタル通信パスは、すべてのタイルと中央のデジタル処理ユニットを接続しています。

性能に関しては、このチップはCIFAR-10画像データセットで92.81%という印象的な正答率を示し、アナログインメモリコンピューティングにおいて非常に優れた成果を収めています。この研究では、アナログインメモリコンピューティングをデジタル処理ユニットとデジタル通信ファブリックとシームレスに統合することで、より効率的なコンピューティングエンジンを実現しました。チップの面積あたりのGiga-operations per second(GOPS)におけるスループットは、従来の抵抗メモリベースのインメモリコンピューティングチップの15倍以上を超えるエネルギー効率を維持しながら実現されました。

アナログ・デジタル変換器、積和演算能力、およびデジタル計算ブロックの突破的な進歩を活用し、IBM Researchは高速で低消費電力のアナログAI推論アクセラレータチップに必要な多くの要素を実現しました。以前提案されたアクセラレータのアーキテクチャは、多数のアナログインメモリコンピューティングタイルを専用のデジタルコンピュートコアに接続し、並列な2Dメッシュを介して接続されています。このビジョンとハードウェアに対するトレーニング技術は、将来のさまざまなモデルでソフトウェアと同等のニューラルネットワークの精度を提供すると期待されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

AI研究

テンセントAIラボの研究者たちは、テキスト対応の画像プロンプトアダプタ「IP-Adapter」を開発しました:テキストから画像への拡散モデルのためのアダプタです

「リンゴ」と言えば、あなたの頭にすぐにリンゴのイメージが浮かびます。私たちの脳の働き方が魅力的であるように、生成AIも...

データサイエンス

「部分情報分解とは何か、そして特徴がどのように相互作用するのか」

ターゲット変数が複数の情報源に影響を受ける場合、各情報源が全体的な情報にどのように寄与しているかを理解することは重要...

AI研究

UCバークレーとスタンフォード大学の研究者が、複数の教師からの報酬を学習するための人工知能フレームワークである「Hidden Utility Bandit(HUB)」を紹介しました

強化学習(RL)において、学習プロセスに人間からのフィードバックを効果的に統合することは、重要な課題として浮上していま...

機械学習

「Flash-AttentionとFlash-Attention-2の理解:言語モデルの文脈長を拡大するための道」

大規模言語モデル(LLM)の文脈を拡大することは、ユースケースの宇宙を拡大するための最大の課題の一つです最近、Anthropic...

AI研究

デジタルアートの革新:ソウル国立大学の研究者が、強化学習を用いたコラージュ作成における新しいアプローチを紹介

“`html 芸術的なコラージュ作成は、人々の芸術的な才能と深く結びついている分野であり、人工知能(AI)に興味を引かせ...

AI研究

スタンフォード大学とMilaの研究者は、多くの大規模言語モデルの中核構築ブロックの代替として、注目しないHyenaを提案しています

我々は皆、ChatGPTやBardなどの驚異的な生成モデル、およびそれらの基盤技術であるGPT3やGPT4などの開発競争がAI界を大きく揺...