「AWS Step Functionsで機械学習パイプラインをオーケストレーションする」

美容とファッションのエキスパートが教える、魅力的なビューティーとファッションのトピック

インフラストラクチャとしてのコードでの高度なデータエンジニアリングとML Ops

写真:Markus Winkler on Unsplashさんの作品

この記事では、AWS Step Functionsを使用して機械学習パイプラインを作成し、インフラストラクチャとしてのコードを使用してデプロイする方法を説明します。この記事は、データおよびML OpsエンジニアがCloudFormationテンプレートを使用してMLパイプラインをデプロイおよび更新するために利用することを目的としています。これらのテンプレートおよびGihubリポジトリのリンクは、この記事で提供されます。

AWS Step Functionsを使用して、他のベンダーのマネージドサービスを含む、任意のサービスをトリガーすることができます。これは、データサービスがデータをどのように処理し変換するかのフローをオーケストレートすることができる強力なツールです。この記事では、AWS GlueとAWS Personalizeを例に挙げながら、以下のようなフローを持つ機械学習(ML)パイプラインを作成します:

パイプライングラフ。作者による画像。

データエンジニアとして、データレイク内のデータを準備し、機械学習モデルのトレーニングをトリガーするデータパイプラインの設計を担当しました。

そのため、他のツール(Airflowなど)の中からAWS Step Functionsを使用してみることにしました。AWSにとってネイティブなサービスであることを考慮しました。毎日または必要に応じてAWS Step Functionsを使用してMLモデルをトレーニングするアイデアだったのです。これによって、必要なモデルの更新に対して柔軟なセットアップが得られます。データプラットフォームにおけるインフラストラクチャとしてのコードの利点は明白であり、以前にそれについて書いたことがあります:

データプラットフォームの継続的な統合とデプロイメント

データエンジニアおよびML Ops向けCI/CD

towardsdatascience.com

テスト目的でAWS Personalizeを使用することにしました。このサービスは、アプリケーションのユーザーにより良い製品推奨を提供するために使用できます。機械学習について心配する必要がないため、AWS Personalizeが適切な選択肢だと思われます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「PyTorchにおける複数GPUトレーニングとそれに代わる勾配蓄積」

この記事では、まず、データ並列化(DP)と分散データ並列化(DDP)アルゴリズムの違いを説明し、次に勾配蓄積(GA)が何であ...

AIニュース

「インドが最新のAIを活用してペイメント詐欺に取り組む方法」

今日のデジタル時代において、オンライン取引に関連する詐欺は増加しており、金融機関と規制当局に重大な課題をもたらしてい...

データサイエンス

「ヴォン・グームと出会う 大規模な言語モデルにおけるデータ毒化に対する革新的なAIアプローチ」

データの毒化攻撃は、訓練データセットに誤ったデータを注入することで機械学習モデルを操作します。モデルが実世界のデータ...

機械学習

「プロンプトエンジニアリングによるAIの潜在能力の解放」

迅速なエンジニアリングは、簡潔でコンテキスト豊かなクエリの作成スキルであり、AIが最も関連性の高い正確な応答を生成する...

AIニュース

「創発的AIのためのガードレール構築への責任あるアプローチ」

「私たちは、創発型人工知能にガードレールを築く方法の一部を共有しています」

AIニュース

「イーロン・マスク氏、中国での超知能の台頭に警鐘を鳴らす」と警告

著名な起業家であるイーロン・マスク氏が最近、Twitter Spacesのコールで大胆な発言をし、中国における超知能の可能性につい...