「AWS Step Functionsで機械学習パイプラインをオーケストレーションする」

美容とファッションのエキスパートが教える、魅力的なビューティーとファッションのトピック

インフラストラクチャとしてのコードでの高度なデータエンジニアリングとML Ops

写真:Markus Winkler on Unsplashさんの作品

この記事では、AWS Step Functionsを使用して機械学習パイプラインを作成し、インフラストラクチャとしてのコードを使用してデプロイする方法を説明します。この記事は、データおよびML OpsエンジニアがCloudFormationテンプレートを使用してMLパイプラインをデプロイおよび更新するために利用することを目的としています。これらのテンプレートおよびGihubリポジトリのリンクは、この記事で提供されます。

AWS Step Functionsを使用して、他のベンダーのマネージドサービスを含む、任意のサービスをトリガーすることができます。これは、データサービスがデータをどのように処理し変換するかのフローをオーケストレートすることができる強力なツールです。この記事では、AWS GlueとAWS Personalizeを例に挙げながら、以下のようなフローを持つ機械学習(ML)パイプラインを作成します:

パイプライングラフ。作者による画像。

データエンジニアとして、データレイク内のデータを準備し、機械学習モデルのトレーニングをトリガーするデータパイプラインの設計を担当しました。

そのため、他のツール(Airflowなど)の中からAWS Step Functionsを使用してみることにしました。AWSにとってネイティブなサービスであることを考慮しました。毎日または必要に応じてAWS Step Functionsを使用してMLモデルをトレーニングするアイデアだったのです。これによって、必要なモデルの更新に対して柔軟なセットアップが得られます。データプラットフォームにおけるインフラストラクチャとしてのコードの利点は明白であり、以前にそれについて書いたことがあります:

データプラットフォームの継続的な統合とデプロイメント

データエンジニアおよびML Ops向けCI/CD

towardsdatascience.com

テスト目的でAWS Personalizeを使用することにしました。このサービスは、アプリケーションのユーザーにより良い製品推奨を提供するために使用できます。機械学習について心配する必要がないため、AWS Personalizeが適切な選択肢だと思われます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「新時代のAI/MLのためのソフトウェア/ハードウェアアーキテクチャをどのように共同設計するか?」

最新の生成AI技術は、コンピュータビジョン、自然言語処理などで爆発的な成長を遂げ、画期的なモデルアーキテクチャの研究に...

データサイエンス

「OpenAIとMetaが著作権侵害で訴えられる」

驚くべき法的な展開により、有名なコメディアンのサラ・シルバーマン、著名な作家のクリストファー・ゴールデンとリチャード...

機械学習

マイクロソフトAIは、高度なマルチモーダルな推論と行動のためにChatGPTとビジョンエキスパートを組み合わせたシステムパラダイム「MM-REACT」を提案しています

大規模言語モデル(LLM)は急速に進化し、経済や社会の変革に貢献しています。インターネット上には多くの人工知能(AI)ツー...

人工知能

ネットワークの強化:異常検知におけるML、AI、およびDLの力を解き放つ

「機械学習、人工知能、そしてディープラーニング技術が、異常を精度良く検出することでネットワークセキュリティを向上させ...

人工知能

「人工知能の暗黒面」

この記事では、AIを恐れるべきなのか、あるいは有名人からの警告は根拠がないのかという問いについて探っています

AIニュース

「LangChainとOpenAI APIを使用した生成型AIアプリケーションの構築」

イントロダクション 生成AIは、現在の技術の最先端をリードしています。画像生成、テキスト生成、要約、質疑応答ボットなど、...