このAI研究では、LSS Transformerを発表しましたこれは、Transformerにおける効率的な長いシーケンスの学習を革新的なAIアプローチで実現します

革新的なAIアプローチで効率的な長いシーケンスの学習を可能にするLSS Transformerを発表しました

新しいAI研究では、Long Short-Sequence Transformer (LSS Transformer)という効率的な分散学習手法が紹介されました。この手法は、長いシーケンスをGPU間でセグメント化し、各GPUが部分的なセルフアテンション計算を処理します。 LSS Transformerは統合通信とユニークなダブル勾配平均技術を採用し、伝送オーバーヘッドを最小限に抑え、驚異的な高速化とメモリ削減を実現し、他のシーケンス並列手法を凌駕しています。Wikipedia enwik8データセットでの性能評価では、LSS Transformerは複数のGPUでより高速な学習と改善されたメモリ効率を実現し、Nvidiaのシーケンス並列処理を上回りました。

セルフアテンションメカニズムで知られるトランスフォーマーは、自然言語処理や画像処理で使用される強力なニューラルネットワークアーキテクチャです。より長いシーケンスでトランスフォーマーを訓練することは、文脈情報の把握と予測精度を高める一方で、メモリと計算量の要求を増加させます。この課題に対応するために、階層的な訓練、アテンションの近似、および分散シーケンス並列処理など、さまざまなアプローチが試されています。

LSS Transformerは、Wikipedia enwik8データセットで144台のNvidia V100 GPUを使用して、従来のシーケンス並列処理を超える、学習速度を5.6倍向上させ、メモリ効率を10.2倍向上させました。さらに、3,456台のGPUで極端なシーケンス長（50,112）を処理し、161%の超線形並列効率と32ペタフロップの高いスループットを達成しました。LSS Transformerは、他のシーケンス並列手法と比較して、大規模なモデル実験（108台のGPUを使用）で高いスケーリング効率とベースライン並列処理との比較における小さなメモリフットプリントを維持しました。LSS Transformerは、144ノードでの50,112のシーケンス長に対して8ペタフロップの計算スループットを提供し、速度とスケーラビリティの面でベースラインのシーケンス並列処理を凌駕しました。

• 「MITとNVIDIAの研究者が、要求の厳しい機械学習タスクの速度とパフォーマンスを劇的に向上させることができる、2つの補完的な技術を開発しました」
• Google DeepMindの研究者たちは、人工汎用知能（AGI）モデルとそれらの前身の能力と行動を分類するためのフレームワークを提案しています
• ケンブリッジの研究者たちは、マシンラーニングを利用した仮想現実アプリケーションを開発し、ユーザーが仮想現実空間でツールを開いたり制御したりする「超人的な」能力を持つことができるようにしました

LSS Transformerは、長いシーケンスでトランスフォーマーモデルを訓練する課題に対する画期的な解決策を提供し、通信オーバーヘッドを最小限に抑えながら、驚異的な高速化とメモリ効率を実現する分散学習手法です。この手法はシーケンスをGPU間でセグメント化し、統合通信とダブル勾配平均を利用します。LSS Transformerの超長シーケンストレーニングを促進する能力は、DNAシーケンス解析、長文要約、および画像処理など、多くのトークンの依存性を必要とするアプリケーションにとって貴重なアセットとなります。

この研究にはいくつかの制約があります。まず、Nvidiaのシーケンス並列処理に焦点を当て、長いシーケンストレーニングの既存の方法と比較する必要があります。次に、LSS Transformerによって実現される精度と効率のトレードオフを詳しく調査する必要があります。さらに、潜在的な実世界の実装上の課題に対処する必要があります。また、LSS Transformerの性能に対するハイパーパラメータやアーキテクチャの変更の影響を探ることはありません。最後に、計算とメモリ使用の削減に対する近似ベースのアプローチとの包括的な比較がありません。

LSS Transformerの将来の研究方向は次のとおりです：

• 異なるデータセットやタスクにおけるパフォーマンスとスケーラビリティの評価。
• エンコーダーのみまたはデコーダーのみなど、さまざまなトランスフォーマーモデルへの適用性の拡張。
• より大きなシーケンス長とより多くのGPUを最適化し、超長シーケンストレーニングを向上させる。
• 効率的で並列化された方法でのトークン間の相互依存関係の処理技術の改良。
• 確立されたディープラーニングフレームワークにLSS Transformerを統合して、研究者や実践者の利便性を向上させる。

これらの取り組みは、LSS Transformerの利用範囲と採用を広げることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!