「MITの研究者が開発した機械学習技術により、ディープラーニングモデルがエッジデバイス上で効果的に新しいセンサーデータに適応し、直接学習することが可能となりました」

「MITの研究者による機械学習技術の革新により、エッジデバイス上で効果的に新しいセンサーデータを学習することが可能になりました」

テクノロジーの急速な進歩により、エッジデバイスは私たちの日常生活の重要な一部となり、完璧にネットワーク化された社会に統合されています。これら広く使用されるエッジデバイスは、ネットワークのエッジで無比の量のデータを生成します。

スマートでカスタマイズされた機密性の高いAIの需要が増加しています。1つのモデルではさまざまなユーザーの多様な要件には応えることができません。エッジデバイスはしばしばディープラーニングのタスクを処理しますが、ディープニューラルネットワークのトレーニングは通常、強力なクラウドGPUサーバーで行われます。

ただし、既存のトレーニングフレームワークは、アクセラレータを備えた強力なクラウドサーバーに特化しており、エッジデバイス上での効果的な学習を可能にするために最適化する必要があります。

• WhatsAppチャットで言語モデルを構築しましょう
• Deep Learningモデルのトレーニングをスーパーチャージ
• 「ボトルネックアダプタを使用した効率的なモデルの微調整」

カスタマイズされたディープラーニングモデルによって、ユーザーのなまりにあわせてAIチャットボットが適応したり、以前の入力活動に基づいて単語の予測を継続的に改善するスマートキーボードが可能になるかもしれません。

ユーザーデータは通常、スマートフォンやその他のエッジデバイスにはこの調整プロセスに必要なメモリと処理能力が欠如しているため、クラウドサーバーに送信されます。これらのサーバーはモデルの更新を行う場所であり、AIモデルの微調整という難しいタスクを完了するリソースを持っています。

したがって、MITなどの研究者は、直接エッジデバイス上で新鮮なセンサーデータに適応するためのディープラーニングモデルを効果的に調整する技術であるPockEngineを開発しました。 PockEngineは、精度を向上させるために更新が必要な大規模な機械学習モデルの正確な部分のみを保持して計算します。

これらの計算のほとんどはランタイム前のモデルの準備中に完了されるため、計算オーバーヘッドが削減され、微調整手順が迅速化されます。 PockEngineはデバイス上のトレーニングを劇的に高速化し、特定のハードウェアプラットフォームでは最大15倍の速度向上を実現しました。 PockEngineにより、モデルの精度を損なうことなく効果的にトレーニングが可能となりました。彼らの微調整技術により、よく知られたAIチャットボットはより正確に困難なクエリに答えることができました。

PockEngineは一部のハードウェアプラットフォームで最大15倍のスピード向上を実現しました。微調整を行う際にPockEngineの広範なトレーニンググラフの最適化が組み込まれることで、トレーニングプロセスがさらに加速されます。

デバイス上の微調整の利点には、プライバシーの向上、費用の低減、カスタマイズオプション、終身学習などがあります。ただし、このプロセスを容易にするためにはさらなるリソースが必要です。

彼らは、モデルのコンパイルと展開の準備中にバックプロパゲーショングラフを生成するPockEngineに言及しました。これにより、レイヤーの冗長なセクションが削除され、ランタイム中に利用できる簡略化されたダイアグラムが生成されます。その後、効率を改善するために追加の最適化が行われます。

この方法は、多くの例が微調整される必要があるモデルに特に有用です。研究者たちは、大規模な言語モデルであるLlama-V2に適用しました。 PockEngineは、各レイヤーを個別に特定のタスクに微調整し、各レイヤーの精度の向上を追跡します。PockEngineは、精度とコストのトレードオフを考慮し、各レイヤーの必要な微調整割合を判断することができます。

システムはまず、各レイヤーを順番に特定のタスクに微調整し、各レイヤーの精度向上を計測します。研究者たちは、PockEngineが各レイヤーの貢献度と精度と微調整コストのトレードオフを識別し、必要な微調整割合を自動的に決定することを強調しました。

Raspberry Pi用の事前構築されたTensorFlowに比べて15倍の高速化を実現するPockEngineは、印象的な速度向上を証明しています。さらに、Jetson AGX Orinでのバックプロパゲーション時のメモリセービング率が5.6倍に向上するなど、PockEngineは素晴らしい速度向上を実現しました。主に、PockEngineはNVIDIA上でLLAMAv2-7Bを効果的に微調整することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!