「AWS Step Functionsで機械学習パイプラインをオーケストレーションする」

美容とファッションのエキスパートが教える、魅力的なビューティーとファッションのトピック

インフラストラクチャとしてのコードでの高度なデータエンジニアリングとML Ops

写真:Markus Winkler on Unsplashさんの作品

この記事では、AWS Step Functionsを使用して機械学習パイプラインを作成し、インフラストラクチャとしてのコードを使用してデプロイする方法を説明します。この記事は、データおよびML OpsエンジニアがCloudFormationテンプレートを使用してMLパイプラインをデプロイおよび更新するために利用することを目的としています。これらのテンプレートおよびGihubリポジトリのリンクは、この記事で提供されます。

AWS Step Functionsを使用して、他のベンダーのマネージドサービスを含む、任意のサービスをトリガーすることができます。これは、データサービスがデータをどのように処理し変換するかのフローをオーケストレートすることができる強力なツールです。この記事では、AWS GlueとAWS Personalizeを例に挙げながら、以下のようなフローを持つ機械学習(ML)パイプラインを作成します:

パイプライングラフ。作者による画像。

データエンジニアとして、データレイク内のデータを準備し、機械学習モデルのトレーニングをトリガーするデータパイプラインの設計を担当しました。

そのため、他のツール(Airflowなど)の中からAWS Step Functionsを使用してみることにしました。AWSにとってネイティブなサービスであることを考慮しました。毎日または必要に応じてAWS Step Functionsを使用してMLモデルをトレーニングするアイデアだったのです。これによって、必要なモデルの更新に対して柔軟なセットアップが得られます。データプラットフォームにおけるインフラストラクチャとしてのコードの利点は明白であり、以前にそれについて書いたことがあります:

データプラットフォームの継続的な統合とデプロイメント

データエンジニアおよびML Ops向けCI/CD

towardsdatascience.com

テスト目的でAWS Personalizeを使用することにしました。このサービスは、アプリケーションのユーザーにより良い製品推奨を提供するために使用できます。機械学習について心配する必要がないため、AWS Personalizeが適切な選択肢だと思われます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「PyTorchでのSoft Nearest Neighbor Lossの実装方法」

表現学習は、深層ニューラルネットワークによって与えられたデータセット内の最も顕著な特徴を学習するタスクです通常は教師...

人工知能

「インテリアデザインのための中間プロンプト」

「これらのミッドジャーニーのインテリアデザインのヒントを使って、家のどの部屋でもリフレッシュしてください」

機械学習

PythonでのChatGPT統合:AI会話の力を解き放つ

このブログでは、PythonとのChatGPTの統合について掘り下げ、さまざまなアプリケーションにChatGPTをPythonと統合する方法に...

データサイエンス

テキストデータのチャンキング方法-比較分析

自然言語処理(NLP)における「テキストチャンキング」プロセスは、非構造化テキストデータを意味のある単位に変換することを...

データサイエンス

「MITの研究者が開発した機械学習技術により、ディープラーニングモデルがエッジデバイス上で効果的に新しいセンサーデータに適応し、直接学習することが可能となりました」

テクノロジーの急速な進歩により、エッジデバイスは私たちの日常生活の重要な一部となり、完璧にネットワーク化された社会に...

AIニュース

「OpenAIがGPT-6およびGPT-7の立ち上げ準備を進める:中国で商標申請」

人工知能(AI)の推進に対するコミットメントを示す戦略的な動きとして、OpenAIは最近、中国でGPT-6とGPT-7の商標を申請しま...