「GPU インスタンスに裏打ちされた SageMaker マルチモデルエンドポイントを利用して、数百の NLP モデルをホストします」

Using SageMaker multi-model endpoints backed by GPU instances to host hundreds of NLP models.

Amazon SageMakerとTriton Inference Serverの統合

Unsplashからの画像

過去には、SageMaker Multi-Model Endpoints(MME)を使用して、複数のモデルを単一のエンドポイントにホストするコスト効率の高いオプションを探求しました。小さなモデルをCPUベースのインスタンスでホストすることは可能ですが、これらのモデルが大きく、より複雑な場合にはGPUコンピューティングが必要になることもあります。

MMEをバックエンドとするGPUベースのインスタンスは、この記事で紹介するSageMaker Inferenceの特定の機能であり、単一のエンドポイントに数百のNLPモデルを効率的にホストする方法を示します。なお、この記事の執筆時点では、SageMakerのMME GPUは以下の単一のGPUベースのインスタンスファミリーをサポートしています:p2、p3、g4dn、およびg5。

MME GPUは現在、以下の2つのモデルサービングスタックによっても駆動しています:

  1. Nvidia Triton Inference Server
  2. TorchServe

この記事では、PyTorchバックエンドを使用したTriton Inference Serverを利用して、GPUインスタンス上でBERTベースのモデルをホストします。Tritonについて初めての方は、こちらの初心者向け記事を参照することをおすすめします。

注意:この記事は、SageMaker Deploymentおよびリアルタイム推論の中級者レベルの理解を前提としています。Deployment/Inferenceについてより詳しく理解するためには、この記事を参照してください。また、Multi-Model Endpointsについても概説しますが、さらに理解するためにはこのドキュメントを参照してください。

免責事項:私はAWSの機械学習アーキテクトであり、ここに述べる意見は私自身のものです。

MMEとは?ソリューションの概要

なぜMulti-Model Endpointsを使用し、いつ使用するのでしょうか?MMEはコストと管理の効率的なホスティングオプションです。従来のSageMakerエンドポイントのセットアップは以下のようになります:

作者による画像

数百、さらには数千のモデルがある場合、それぞれのエンドポイントを管理することが難しくなり、多くの料金が発生します…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「リオール・ハキム、Hour Oneの共同創設者兼CTO - インタビューシリーズ」

「Hour Oneの共同創設者兼最高技術責任者であるリオール・ハキムは、専門的なビデオコミュニケーションのためのバーチャルヒ...

人工知能

「トリントの創設者兼CEO、ジェフ・コフマンへのインタビューシリーズ」

ジェフ・コーフマンは、ABC、CBS、CBCニュースで30年のキャリアを持った後、Trintの創設者兼CEOとなりましたジェフは手作業の...

人工知能

「アナコンダのCEO兼共同創業者、ピーターウォングによるインタビューシリーズ」

ピーター・ワンはAnacondaのCEO兼共同創設者ですAnaconda(以前はContinuum Analyticsとして知られる)を設立する前は、ピー...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

人工知能

「Kognitosの創設者兼CEO、ビニー・ギル- インタビューシリーズ」

ビニー・ギルは、複数の役職と企業を横断する多様で幅広い業務経験を持っていますビニーは現在、Kognitosの創設者兼CEOであり...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...