「AWS Step Functionsで機械学習パイプラインをオーケストレーションする」

美容とファッションのエキスパートが教える、魅力的なビューティーとファッションのトピック

インフラストラクチャとしてのコードでの高度なデータエンジニアリングとML Ops

写真:Markus Winkler on Unsplashさんの作品

この記事では、AWS Step Functionsを使用して機械学習パイプラインを作成し、インフラストラクチャとしてのコードを使用してデプロイする方法を説明します。この記事は、データおよびML OpsエンジニアがCloudFormationテンプレートを使用してMLパイプラインをデプロイおよび更新するために利用することを目的としています。これらのテンプレートおよびGihubリポジトリのリンクは、この記事で提供されます。

AWS Step Functionsを使用して、他のベンダーのマネージドサービスを含む、任意のサービスをトリガーすることができます。これは、データサービスがデータをどのように処理し変換するかのフローをオーケストレートすることができる強力なツールです。この記事では、AWS GlueとAWS Personalizeを例に挙げながら、以下のようなフローを持つ機械学習(ML)パイプラインを作成します:

パイプライングラフ。作者による画像。

データエンジニアとして、データレイク内のデータを準備し、機械学習モデルのトレーニングをトリガーするデータパイプラインの設計を担当しました。

そのため、他のツール(Airflowなど)の中からAWS Step Functionsを使用してみることにしました。AWSにとってネイティブなサービスであることを考慮しました。毎日または必要に応じてAWS Step Functionsを使用してMLモデルをトレーニングするアイデアだったのです。これによって、必要なモデルの更新に対して柔軟なセットアップが得られます。データプラットフォームにおけるインフラストラクチャとしてのコードの利点は明白であり、以前にそれについて書いたことがあります:

データプラットフォームの継続的な統合とデプロイメント

データエンジニアおよびML Ops向けCI/CD

towardsdatascience.com

テスト目的でAWS Personalizeを使用することにしました。このサービスは、アプリケーションのユーザーにより良い製品推奨を提供するために使用できます。機械学習について心配する必要がないため、AWS Personalizeが適切な選択肢だと思われます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

ウェイト、バイアス、ロスのアンボクシング:ディープラーニングに集中する

ディープラーニングは、大量のデータを自動的に利用して、コンピュータが人間と同様に学ぶために層状のニューラルネットワー...

AIニュース

「AutoGenを使った戦略的AIチームビルディングが簡単になりました」

イントロダクション デジタルフロンティアが無限の領域に達し、AutoGenは変革的なパラダイムの設計者として現れます。異なる...

機械学習

「大規模な言語モデルを使用した顧客調査フィードバック分析の強化」

はじめに 顧客フィードバック分析の世界へようこそ。顧客の意見の未探索の富は、ビジネスの成功を形作ることができます。今日...

人工知能

中間旅程のタトゥープロンプト

次のタトゥーのインスピレーションを探している場合は、Midjourneyを使用してみてください

データサイエンス

「機械学習と人工知能を利用した在庫管理の改善」

「人工知能(AI)は在庫管理システムの効果を大幅に向上させることができます需要予測をサポートし、在庫レベルを最適化し、...

人工知能

最近の記録的な売上で.AIドメイン名の価値が急上昇しています

2023年には.aiドメイン名の取引価値が著しい増加を見ています元々、「.ai」はアンギラの国別コードトップレベルドメイン(ccT...