「Amazon SageMakerとHugging Faceを使用して、FetchはML処理の遅延を50％削減します」

Fetch reduces ML processing latency by 50% using Amazon SageMaker and Hugging Face.

この記事は、元々2023年9月にAWSのウェブサイトで公開された記事のクロスポストです。

概要

消費者エンゲージメントと報酬会社であるFetchは、ユーザーがレシートをスキャンして購入に対して報酬を得ることができるアプリケーションを提供しています。同社はまた、これらのレシートを解析して消費者の行動に関する洞察を生成し、ブランドパートナーに提供しています。週ごとのスキャンが急速に増加するにつれて、Fetchはスピードと精度を向上させる必要がありました。

Amazon Web Services（AWS）上で、FetchはHugging FaceとAmazon SageMakerを使用して機械学習（ML）パイプラインを最適化しました。Amazon SageMakerは、完全に管理されたインフラストラクチャ、ツール、ワークフローを備えたMLモデルの構築、トレーニング、展開を行うためのサービスです。これにより、Fetchアプリはスキャンをより速く、かつ大幅に高い精度で処理することができます。

機会 | FetchのMLパイプラインを12か月でAmazon SageMakerを使用して高速化する

Fetchアプリを使用して、顧客はレシートをスキャンし、ポイントを受け取り、それらのポイントをギフトカードと交換することができます。Fetchは、領収書のスキャンに対してユーザーに即座に報酬を与えるために、領収書からテキストをキャプチャし、関連するデータを抽出し、その他のシステムが処理および分析できるように構造化する必要がありました。ピークトラフィック時には週に8000万枚以上のレシートを処理する必要があり、秒間数百枚のレシートを素早く、正確に処理する必要がありました。

• 「アジア競技大会、eスポーツがオリンピックの夢に火をつける新たな節目となる」
• 「科学者たちが歴史的なコードを解読し、失われた秘密を明らかにする方法」
• ウェイブは、LINGO-1という新しいAIモデルを開発しましたこのモデルは、運転シーンにコメントをすることができ、質問に対しても回答することができます

2021年、Fetchはアプリのスキャン機能を最適化することを決定しました。FetchはAWSネイティブの会社であり、MLオペレーションチームは既に多くのモデルでAmazon SageMakerを使用していました。これにより、モデルをAmazon SageMakerに移行してMLパイプラインを強化する決定は容易なものでした。

プロジェクト全体を通じて、FetchはAWSチームと週次の通話を行い、AWSがFetchとペアになった専門家からサポートを受けました。Fetchは12か月でAmazon SageMakerを使用して5つ以上のMLモデルを構築、トレーニング、展開しました。2022年末に、Fetchは更新されたモバイルアプリと新しいMLパイプラインをリリースしました。

「Amazon SageMakerはFetchにとって画期的なものです。ほぼすべての機能を広範に使用しています。新しい機能が登場すると、すぐに価値があります。Amazon SageMakerの機能なしでこのプロジェクトを行うことは想像できません。」

Sam Corzine、機械学習エンジニア、Fetch

ソリューション | MLおよびHugging Faceを使用してAmazon SageMaker GPUインスタンスでレイテンシを50％削減

「Hugging Face AWS Deep Learning Containerの柔軟性を活用することで、モデルの品質を向上させることができました。また、Hugging FaceのAWSとのパートナーシップにより、これらのモデルを簡単に展開することができました。」

Sam Corzine、機械学習エンジニア、Fetch

FetchのMLパイプラインは、特にAmazon SageMakerの機能であるAmazon SageMakerモデルトレーニングを活用しています。これにより、スケールでMLモデルのトレーニングと調整にかかる時間とコストを削減することができます。また、Amazon SageMaker Processingは、データ処理ワークロードを実行するための簡素化された管理されたエクスペリエンスを提供します。会社は高速なパフォーマンスのためにマルチGPUインスタンスを使用してカスタムMLモデルを実行します。Fetchはこれらのモデルをトレーニングして、貴重な洞察とユーザーに報酬を提供するためのレシート上の重要な情報を識別および抽出します。そして、Amazon SageMaker上では、FetchのカスタムMLシステムはシームレスにスケーラブルです。「Amazon SageMakerを使用することで、特に推論とランタイムのためにシステムを簡単にスケーリングする方法があります」とFetchのMLエンジニアであるSam Corzineは述べています。一方、標準化されたモデルの展開は、手作業の量を減らします。

Fetchは、モデルを改良し、繰り返し開発および展開するにあたり、特にAmazon SageMakerのMLトレーニング機能、特にトレーニングジョブを活用しました。Fetchはまた、並列でMLモデルをトレーニングすることもでき、開発と展開を高速化しています。「モデルを展開するための摩擦はほとんどありません」とFetchの応用科学者であるAlec Stashevskyは述べています。「基本的に、それについて考える必要はありません。」これにより、会社全体の信頼性と生産性が向上しました。例えば、新しいインターンは入社3日目に自分自身でモデルを展開することができました。

Amazon SageMakerをMLの調整、トレーニング、再トレーニングに採用して以来、Fetchは文書理解モデルの精度を200％向上させました。引き続きモデルを微調整して改善を図っています。FetchのMLエンジニアであるQuency Yuは、「これらの優れたモデルを構築するための重要なツールとしてAmazon SageMakerを使用しています」と述べています。チューニングプロセスを最適化するために、FetchはAmazon SageMakerの機能であるAmazon SageMaker Inference Recommenderを利用しており、これにより負荷テストとモデルのチューニングを自動化してMLモデルを本番環境に展開するための所要時間を短縮しています。

カスタムのMLモデルに加えて、FetchはAWS Deep Learning Containers（AWS DL Containers）も使用しており、事業者は最適化された事前パッケージ化されたコンテナイメージを使用して迅速にディープラーニング環境を展開することができます。これにより、Hugging Face Inc.（Hugging Face）という人工知能技術会社およびAWSパートナーのライブラリの使用プロセスが簡素化されます。具体的には、FetchはAmazon SageMaker Hugging Face Inference Toolkitというtransformersモデルを提供するためのオープンソースライブラリ、およびHugging Face AWS Deep Learning Containerをトレーニングおよび推論に使用しています。Corzineは「Hugging Face AWS Deep Learning Containerの柔軟性を利用して、モデルの品質を向上させることができました。また、Hugging FaceのAWSとの提携により、これらのモデルを展開するのが簡単でした。」と述べています。

Fetchが計測するすべてのメトリックについて、Amazon SageMakerを採用して以来、パフォーマンスは改善されています。同社は最も遅いスキャンのレイテンシを50％削減しました。「改善された精度は、パートナーの間でデータに対する信頼も高めます。」とCorzineは述べています。より信頼性が高まることで、パートナーはFetchのソリューションの利用を増やすでしょう。「Amazon SageMakerを使用して文字通りすべてのデータポイントの精度を実質的に向上させることができることは非常に大きな利点であり、私たちのビジネス全体に波及します。」とCorzineは述べています。

Fetchは今や領収書からさまざまな種類のデータを抽出することができ、その結果得られる洞察をブランドパートナーの特定のニーズに合わせて構造化する柔軟性があります。「MLに依存することで、パートナーが領収書から望むものを正確に抽出できるようになりました。」とCorzineは述べています。「MLへの投資のおかげで、パートナーは新しいタイプのオファーを作成することができ、それは彼らにとって非常に大きな追加の利点です。」

ユーザーもアップデートを楽しんでいます。Fetchは新しいバージョンをリリースしてから、月間アクティブユーザーが1000万人から1800万人に成長しました。「Amazon SageMakerはFetchにとってゲームチェンジャーです。ほぼすべての機能を広範に使用しています。新しい機能がリリースされるとすぐに価値があります。Amazon SageMakerの機能なしでこのプロジェクトを行うことは想像できません。」例えば、FetchはカスタムのシャドウテストパイプラインからAmazon SageMakerシャドウテストに移行しました。これにより、新しいMLモデルのパフォーマンスを本番モデルと比較して障害を防ぐことができます。今では、Fetchは本番トラフィックとのパフォーマンスを直接比較することができるため、シャドウテストがより直接的になりました。

成果 | 新たなMLのユースケースへの拡大

FetchのMLチームは、より良いパフォーマンスに調整するために、新しいモデルの作成や既存のモデルの反復作業を継続しています。「もう一つの好きな点は、Amazon SageMakerの新機能に合わせて自社の技術スタックを最新の状態に保つことができることです。」とFetchのML開発者であるChris Leeは述べています。同社は、詐欺防止など異なるMLのユースケースへのAWSの使用をさらに拡大していく予定です。

すでに最大の消費者エンゲージメントソフトウェア企業の1つであるFetchは、成長を続けることを目指しています。「AWSはスケーリングの計画において重要な役割を果たしており、Amazon SageMakerの機能を活用して精度をさらに向上させていく予定です。」とCorzineは述べています。

Fetchについて

Fetchは、ブランドパートナーに対して消費者の購買に関する洞察を提供する消費者エンゲージメント企業です。また、領収書スキャン機能を通じてユーザーが購入に対して報酬を得ることができるモバイルリワードアプリも提供しています。

会社においてHugging FaceをSageMakerで使用するサポートが必要な場合は、こちらからお問い合わせください – 弊社のチームがお問い合わせ内容を詳しくご相談させていただきます！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!