GraphcoreとHugging Faceが、IPU対応の新しいトランスフォーマーのラインアップを発表
GraphcoreとHugging Faceが、新しいIPU対応トランスフォーマーのラインアップを発表しました
GraphcoreとHugging Faceは、Hugging Face Optimumにおいて利用可能な機械学習のモダリティとタスクの範囲を大幅に拡張しました。Hugging Face Optimumは、Transformersのパフォーマンス最適化のためのオープンソースライブラリです。開発者は、GraphcoreのIPUで最高のパフォーマンスを提供するように最適化された幅広いHugging Face Transformerモデルに簡単にアクセスできるようになりました。
Optimum Graphcoreの発売後間もなく提供されたBERT Transformerモデルを含む、開発者は現在、自然言語処理（NLP）、音声、コンピュータビジョンをカバーする10のモデルにアクセスできます。これらのモデルには、IPUの設定ファイルと、事前学習および微調整済みのモデルの重みを使用するための準備が整っています。
新しいOptimumモデル
コンピュータビジョン
ViT（Vision Transformer）は、主要なコンポーネントとしてTransformerメカニズムを使用した画像認識の画期的な手法です。画像がViTに入力されると、言語システムで単語が処理されるのと同様に、画像は小さなパッチに分割されます。各パッチはTransformer（埋め込み）によってエンコードされ、個別に処理することができます。
NLP
GPT-2（Generative Pre-trained Transformer 2）は、非常に大規模な英語のコーパスで自己教師付きの形式で事前学習されたテキスト生成Transformerモデルです。これは、テキストのラベリングを行わずに、公開されているデータを多く使用することができるため、自動的なプロセスでテキストから入力とラベルを生成することによって事前学習されました。より具体的には、文の次の単語を推測して文を生成するようにトレーニングされています。
RoBERTa（Robustly optimized BERT approach）は、自己教師付きの形式で大規模な英語のコーパスで事前学習されたTransformerモデルです（GPT-2と同様）。より具体的には、RoBERTaはマスクされた言語モデリング（MLM）の目的で事前学習されています。文を取り、モデルは入力の15％の単語をランダムにマスクし、全体のマスクされた文をモデルを通して実行し、マスクされた単語を予測する必要があります。RoBERTaはマスクされた言語モデリングに使用することができますが、主に下流タスクで微調整することを意図しています。
DeBERTa（Decoding-enhanced BERT with disentangled attention）は、NLPタスク用の事前学習済みのニューラル言語モデルです。DeBERTaは、二つの新しい技術である分離された注意メカニズムと強化されたマスクデコーダを使用して、2018年のBERTと2019年のRoBERTaモデルを適応させ、モデルの事前学習の効率と下流タスクのパフォーマンスを大幅に改善しています。
BARTは、エンコーダ-エンコーダ（seq2seq）モデルで、双方向（BERTのような）エンコーダと自己回帰（GPTのような）デコーダを持っています。BARTは、（1）テキストを任意のノイズ関数で破損し、（2）元のテキストを再構築するためのモデルを学習することによって事前学習されます。BARTは、テキストの生成（要約、翻訳など）のために微調整されると特に効果的ですが、理解タスク（テキスト分類、質問応答など）にも適しています。
LXMERT（Learning Cross-Modality Encoder Representations from Transformers）は、ビジョンと言語の表現を学習するためのマルチモーダルTransformerモデルです。オブジェクト関係エンコーダ、言語エンコーダ、およびクロスモダリティエンコーダの3つのエンコーダを持っています。LXMERTは、マスクされた言語モデリング、視覚-言語テキストのアライメント、ROI特徴回帰、マスクされた視覚属性モデリング、マスクされた視覚オブジェクトモデリング、および視覚-質問応答の目的を組み合わせて事前学習されます。VQAとGQAの視覚質問応答データセットで最新の結果を達成しています。
T5（Text-to-Text Transfer Transformer）は、翻訳、質問応答、分類など、任意のテキストを機械学習形式に変換する革新的な新しいモデルです。T5は、すべてのテキストベースの言語問題を転送学習のためのテキスト-テキスト形式に変換する統一されたフレームワークを導入しています。これにより、NLPタスクの多様なセットに対して同じモデル、目的関数、ハイパーパラメータ、およびデコーディング手順を使用する方法を簡素化しています。
音声
HuBERT（Hidden-Unit BERT）は、オーディオを事前学習データとして使用して連続的な入力に対して組み込み音響モデルと言語モデルを学習する自己教師付き音声認識モデルです。HuBERTモデルは、Librispeech（960h）およびLibri-light（60,000h）のベンチマークでwav2vec 2.0の最先端のパフォーマンスに達するか、それを上回るパフォーマンスを実現しました。また、10分、1時間、10時間、100時間、960時間の微調整サブセットでも同様です。
Wav2Vec2は、自動音声認識のための事前学習済みの自己教師付きモデルです。Wav2Vec2は、革新的な相対的事前学習目的を使用して、大量の未ラベルの音声データから強力な音声表現を学習し、その後、少量の書き起こし音声データで微調整されることで、最高の半教師あり手法を上回るパフォーマンスを発揮します。同時に、概念的にもシンプルです。
Hugging Face Optimum Graphcore：堅固なパートナーシップを築く
Graphcoreは2021年に創設メンバーとしてHugging Faceハードウェアパートナープログラムに参加し、両社は機械知能の力を活用しようとするイノベーターの障壁を下げるという共通の目標を共有しています。
それ以降、GraphcoreとHugging Faceは、IPU上でトランスフォーマーモデルのトレーニングを迅速かつ簡単に行うために、緊密に連携してきました。最初のOptimum Graphcoreモデル（BERT）は昨年提供されました。
トランスフォーマーは、特徴抽出、テキスト生成、感情分析、翻訳など、さまざまな機能において非常に効率的であることが証明されています。BERTなどのモデルは、Graphcoreの顧客によって、サイバーセキュリティ、音声通話自動化、薬物探索、翻訳などの様々なアプリケーションで広く使用されています。
これらのモデルを実世界で最適に活用するには、多くの企業や組織には手の届かない時間、労力、スキルが必要です。Hugging Faceがトランスフォーマーモデルのオープンソースライブラリを提供することで、それらの問題に直接対処しています。IPUをHuggingFaceと統合することにより、開発者はモデルだけでなく、HuggingFace Hubで利用可能なデータセットも活用することができます。
開発者は、Graphcoreシステムを使用して10種類の最新のトランスフォーマーモデルをトレーニングし、最小限のコーディング複雑さで数千のデータセットにアクセスすることができます。このパートナーシップにより、ユーザーは簡単に最先端の事前学習済みモデルをさまざまなドメインと下流タスクにダウンロードして微調整するためのツールとエコシステムを提供しています。
Graphcoreの最新のハードウェアとソフトウェアを活用する
Hugging Faceの拡大し続けるユーザーベースのメンバーは、IPU技術の速度、パフォーマンス、パワー効率、コスト効率の恩恵を既に受けることができましたが、Graphcoreからの最新のハードウェアとソフトウェアのリリースの組み合わせにより、さらなる可能性が開かれます。
ハードウェアの面では、3Dスタッキング技術であるWafer-on-Wafer（WoW）を世界で初めて使用するBow IPUが2021年3月に発表され、現在顧客に出荷されています。Bow IPUは、計算アーキテクチャ、シリコン実装、通信、メモリの画期的な進歩を特長とし、それぞれのBow IPUは最大350テラFLOPSのAI計算能力を提供し、前世代のIPUと比較してパフォーマンスが40％向上し、パワー効率が最大16％向上します。重要なことは、Hugging Face Optimumユーザーは、コードの変更を必要とせずに、前世代のIPUからBowプロセッサにシームレスに切り替えることができる点です。
ソフトウェアもIPUの能力を引き出すために重要な役割を果たしますので、OptimumはGraphcoreの使いやすいPoplar SDKとのプラグアンドプレイ体験を提供しています。Poplarは、PyTorch、PyTorch Lightning、TensorFlowなどの標準的な機械学習フレームワークとの完全な統合、およびDockerやKubernetesなどのオーケストレーションと展開ツールとの完全な統合により、最先端のモデルを最先端のハードウェアで容易にトレーニングすることができます。これらの広く使用されているサードパーティシステムとの互換性を持たせることにより、Poplarを他のコンピュータプラットフォームからモデルを簡単に移植し、IPUの高度なAI機能を活用することができます。
Hugging FaceのOptimum Graphcoreモデルで始める
IPU技術の利点とトランスフォーマーモデルの強みを組み合わせたい場合は、最新のOptimum Graphcoreモデルの範囲をGraphcoreの組織のHubからダウンロードするか、Optimum GitHubリポジトリからコードにアクセスすることができます。Getting Startedブログ記事では、IPUでの実験を開始するための各ステップを案内します。
さらに、Graphcoreは開発者リソースの豊富なページを作成しており、コンピュータビジョン、NLP、グラフネットワークなどの展開準備が整ったMLアプリケーションのリポジトリであるIPU Model Gardenや、ドキュメント、チュートリアル、ハウツービデオ、ウェビナーなどが提供されています。さらに、コードの参照やチュートリアルについては、GraphcoreのGitHubリポジトリにもアクセスできます。
Hugging FaceをGraphcoreで使用する方法について詳しく知りたい場合は、当社のパートナーページにアクセスしてください！
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
