Hugging FaceとAMDは、CPUおよびGPUプラットフォーム向けの最先端モデルの高速化に関するパートナーシップを結んでいます

Hugging FaceとAMDはパートナーシップを結んでおり、最先端モデルの高速化を目指しています

言語モデル、大規模な言語モデル、または基盤モデル、トランスフォーマーは、事前学習、微調整、および推論において大量の計算を必要とします。Hugging Faceは、開発者や組織が最大のパフォーマンスを得るために、ハードウェア企業と協力して、各チップのアクセラレーション機能を活用してきました。

本日、私たちはAMDが正式に私たちのハードウェアパートナープログラムに参加したことをお知らせいたします。私たちのCEOであるClement Delangueが、サンフランシスコで行われたAMDのデータセンターおよびAIテクノロジープレミアで基調講演を行い、このエキサイティングな新しい協力関係を発表しました。

AMDとHugging Faceは、AMDのCPUおよびGPU上で最先端のトランスフォーマーパフォーマンスを提供するために協力しています。このパートナーシップは、Hugging Faceコミュニティ全体にとって非常に良いニュースであり、近々、最新のAMDプラットフォームをトレーニングおよび推論に活用することができるようになります。

• 私たちの新しいコンテンツガイドラインとポリシーをお知らせします
• Hugging Face SpacesでLivebookノートブックをアプリとしてデプロイする
• iPhone、iPad、およびMacでのCore MLによる高速で安定した拡散

長年にわたり、ディープラーニングハードウェアの選択肢は限られており、価格と供給は懸念事項となっています。この新しいパートナーシップは、競争に対抗するだけでなく、市場の動向を緩和するのに役立ちます。さらに、新しいコストパフォーマンスの基準を設定することも期待されます。

サポートされるハードウェアプラットフォーム

GPU側では、AMDとHugging Faceはまず、エンタープライズグレードのInstinct MI2xxおよびMI3xxファミリー、次に、カスタマーグレードのRadeon Navi3xファミリーで協力します。AMDの最近のテストでは、MI250が直接競合他社よりもBERT-Largeを1.2倍、GPT2-Largeを1.4倍高速にトレーニングすることを報告しています。

CPU側では、両社はクライアントRyzenおよびサーバーEPYC CPUの推論の最適化に取り組みます。いくつかの以前の投稿で議論したように、CPUはトランスフォーマーの推論において優れたオプションになり得ます。特に、量子化などのモデル圧縮技術と組み合わせた場合です。

最後に、この協力関係には、低い電力要件で驚異的なパフォーマンスを発揮するAlveo V70 AIアクセラレータも含まれます。

サポートされるモデルアーキテクチャとフレームワーク

私たちは、自然言語処理、コンピュータビジョン、音声などの最先端のトランスフォーマーアーキテクチャ（BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP、Wav2Vec2など）をサポートする予定です。もちろん、生成型AIモデル（GPT2、GPT-NeoX、T5、OPT、LLaMAなど）、私たち自身のBLOOMおよびStarCoderモデルも利用可能です。最後に、ResNetやResNextのようなより伝統的なコンピュータビジョンモデル、そして深層学習の推薦モデルにも初めて対応します。

これらのモデルをPyTorch、TensorFlow、およびONNX Runtime向けに上記のプラットフォームでテストおよび検証するために最善を尽くします。すべてのモデルが、すべてのフレームワークまたはすべてのハードウェアプラットフォームでトレーニングおよび推論に利用可能であるわけではないことを覚えておいてください。

今後の展望

最初の焦点は、AMDプラットフォーム上でコミュニティにとって最も重要なモデルがすぐに素晴らしいパフォーマンスを発揮するようにすることです。私たちはAMDのエンジニアリングチームと緊密に連携し、最新のAMDハードウェアおよびソフトウェア機能によって鍵となるモデルを最適化して最適なパフォーマンスを提供するようにします。transformersライブラリをはじめとする、私たちのオープンソースライブラリにAMD ROCm SDKをシームレスに統合します。

途中で、より一層トレーニングおよび推論の最適化の機会が見つかることでしょう。私たちはAMDと緊密に連携し、このパートナーシップを通じて今後の投資に最適な場所を見つけるために協力します。この作業は、Hugging Faceユーザーが最小限のコード変更でAMDプラットフォームを活用できるようにする、AMDプラットフォームに特化した新しいOptimumライブラリの開発につながることを期待しています。

結論

私たちはAMDのような世界クラスのハードウェア企業と協力することを楽しみにしています。オープンソースは、多様なソフトウェアおよびハードウェアソリューションから構築する自由を意味します。このパートナーシップのおかげで、Hugging Faceユーザーは近々、優れたコストパフォーマンスの利益をもたらすトレーニングおよび推論のための新しいハードウェアプラットフォームを利用することができるでしょう。その間、Hugging FaceハブのAMDページをご覧ください。お楽しみに！

この投稿は100% ChatGPTフリーです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!