「ONNX Runtimeを使用して130,000以上のHugging Faceモデルを高速化する」

「ONNX Runtimeを活用して130,000以上のHugging Faceモデルを驚異的に高速化する方法」

ONNX Runtimeとは?

ONNXランタイムは、ONNXをサポートするモデルを特に高速化するために使用できる、クロスプラットフォームの機械学習ツールです。

Hugging Face ONNX Runtimeサポート

Hugging Faceは、オープンソースのコミュニティであり、ユーザーが数千の公開可能な機械学習モデルを構築、訓練、展開できるようにする場所です。Hugging Face上には、13万以上のONNXサポートモデルがあります。これらのONNXサポートモデルには、ますます人気のある大規模言語モデル（LLM）やクラウドモデルも含まれます。これらのモデルは、ONNXランタイムを活用してパフォーマンスを向上させることができます。例えば、whisper-tinyモデルを加速するためにONNXランタイムを使用すると、PyTorchに比べて推論ごとの平均レイテンシーが最大74.30%向上します。ONNXランタイムは、Hugging Faceと緊密に連携しており、サイト上で最も人気のあるモデルをサポートするようになっています。総計で、ONNXランタイムによって90以上のHugging Faceモデルアーキテクチャがサポートされており、その中には11の最も人気のあるアーキテクチャも含まれています（人気度は、対応するモデルがHugging Face Hubにアップロードされた回数によって決まります）。

さらに詳しく

Hugging FaceモデルをONNXランタイムで高速化する方法について詳しく知りたい場合は、Microsoftオープンソースブログで最近の記事をご覧ください。

• (Chatto GPT wa sugoi kedo, kadohyōka sarete iru)
• 「責任あるAIとは何か？大企業がその製品に導入する方法」
• In Japanese, the translation of Time Series Visualization is タイムシリーズの可視化.

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!