「NVIDIAは、最大級のAmazon Titan Foundationモデルのトレーニングを支援しています」

「NVIDIAが最大級のAmazon Titan Foundationモデルのトレーニングをサポート！」

大型言語モデルに関するすべての情報は大きいです。巨大なモデルは、数千台のNVIDIA GPU上で大規模なデータセットをトレーニングします。

これにより、生成AIを追求する企業には多くの重大な課題が生じる可能性があります。 ビルディング、カスタマイズ、および実行するためのフレームワークであるNVIDIA NeMoは、これらの課題を克服するのに役立ちます。

Amazon Webサービスの経験豊かな科学者と開発者チームは、Amazon TitanのためにAmazon Titan foundation modelsを作成しています。Amazon Titanは、foundation modelsのための生成AIサービスです。このチームは過去数ヶ月間、NVIDIA NeMoを使用しています。

「NeMoと協力する主な理由の1つは、拡張性があり、高いGPU利用を可能にする最適化が組み込まれていることで、より大規模なクラスタにスケーリングできるため、顧客へのモデルのトレーニングと配信をより迅速に行えるようになるということです」と、AWSのシニアトレーニングエンジニアであるレナード・ローセン氏は述べています。

• NVIDIAのGPUはAWS上でOmniverse Isaac Simにおいて2倍のシミュレーションの進化を提供し、スマートなロボットの加速を実現します
• 「NVIDIA BioNeMoがAWS上での薬剤探索のための生成型AIを可能にする」
• 「サーモン 大規模な言語モデルのための一般的な聴覚能力へ」

大きなこと、本当に大きなことを考える

NeMoの並列処理技術により、効率的なLLMトレーニングが規模にわたって行えます。 AWSのElastic Fabric Adapterと組み合わせることで、チームはLLMを多数のGPUに分散してトレーニングを加速することができました。

EFAは、AWSの顧客に10,000以上のGPUを直接接続し、オペレーティングシステムとCPUをNVIDIA GPUDirectを使用してバイパスするUltraCluster Networkingインフラストラクチャを提供します。

この組み合わせにより、AWSの科学者たちは卓越したモデル品質を提供することができました。これは、データ並列処理アプローチのみに頼っている場合には規模で実現不可能です。

フレームワークはあらゆるサイズに適合

「NeMoの柔軟性は、AWSが新しいTitanモデル、データセット、およびインフラストラクチャの特性に合わせてトレーニングソフトウェアをカスタマイズすることを可能にしました」とローセン氏は述べています。

AWSのイノベーションには、Amazon Simple Storage Service（Amazon S3）からGPUクラスタへの効率的なストリーミングも含まれています。「これらの改善を取り入れることは容易でした。なぜなら、NeMoは、LLMトレーニングパイプラインの標準化を図るPyTorch Lightningなどの人気のあるライブラリに基づいているからです」とローセン氏は述べています。

AWSとNVIDIAは、NVIDIA NeMoのような製品やAmazon Titanのようなサービスにおいて、顧客の利益のために彼らの共同作業から得られた知見を活かすことを目指しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!