「AWS Step Functionsで機械学習パイプラインをオーケストレーションする」

美容とファッションのエキスパートが教える、魅力的なビューティーとファッションのトピック

インフラストラクチャとしてのコードでの高度なデータエンジニアリングとML Ops

写真:Markus Winkler on Unsplashさんの作品

この記事では、AWS Step Functionsを使用して機械学習パイプラインを作成し、インフラストラクチャとしてのコードを使用してデプロイする方法を説明します。この記事は、データおよびML OpsエンジニアがCloudFormationテンプレートを使用してMLパイプラインをデプロイおよび更新するために利用することを目的としています。これらのテンプレートおよびGihubリポジトリのリンクは、この記事で提供されます。

AWS Step Functionsを使用して、他のベンダーのマネージドサービスを含む、任意のサービスをトリガーすることができます。これは、データサービスがデータをどのように処理し変換するかのフローをオーケストレートすることができる強力なツールです。この記事では、AWS GlueとAWS Personalizeを例に挙げながら、以下のようなフローを持つ機械学習(ML)パイプラインを作成します:

パイプライングラフ。作者による画像。

データエンジニアとして、データレイク内のデータを準備し、機械学習モデルのトレーニングをトリガーするデータパイプラインの設計を担当しました。

そのため、他のツール(Airflowなど)の中からAWS Step Functionsを使用してみることにしました。AWSにとってネイティブなサービスであることを考慮しました。毎日または必要に応じてAWS Step Functionsを使用してMLモデルをトレーニングするアイデアだったのです。これによって、必要なモデルの更新に対して柔軟なセットアップが得られます。データプラットフォームにおけるインフラストラクチャとしてのコードの利点は明白であり、以前にそれについて書いたことがあります:

データプラットフォームの継続的な統合とデプロイメント

データエンジニアおよびML Ops向けCI/CD

towardsdatascience.com

テスト目的でAWS Personalizeを使用することにしました。このサービスは、アプリケーションのユーザーにより良い製品推奨を提供するために使用できます。機械学習について心配する必要がないため、AWS Personalizeが適切な選択肢だと思われます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「プログラマーの生産性を10倍にするための5つの無料のAIツール」

「これらの5つのAIツールは、プログラマーやコーダーの生活を簡単にするために、コーディングプロジェクトの速度と精度を向上...

データサイエンス

「量子もつれ測定の革命:限られたデータで深層学習が従来の方法を上回る方法」

系統の量子もつれの程度は、系統のランダム性や量子もつれの係数など、さまざまな要素に依存します。この系統の特性は、機械...

機械学習

「条件付き生成敵対的ネットワークとは何ですか?」

CGAN(Conditional Generative Adversarial Networks)は、特定のパラメータやラベルをGANに組み込むことで、データ作成プロ...

人工知能

「ChatGPT Meme Creator Pluginを使ってミームを作成する(ビジネスを成長させるために)」

この記事では、ChatGPT Meme Creatorプラグインを使用して、実際に面白いミームを作成する方法を詳しく説明します

AIニュース

「比喩的に言えば、ChatGPTは生きている」

ChatGPTの成長は年々劇的に進んできました最近、OpenAIはChatGPTが聞くこと、見ること、話すことができるようになったことを...

機械学習

OpenAIがBaby Llamaを発表 - 低電力デバイス向けのLLM!

人工知能の世界からの最新ニュース! OpenAIの有名な深層学習の専門家、Andrej Karpathy氏が、リソース制約のあるデバイス上...