AIテクノロジーを使ってあなたの牛を見守る

AIテクノロジーを活用してあなたの肌を美しく保つ' (Using AI Technology to Keep Your Skin Beautiful)

Amazon Web Services (AWS)では、お客様に幅広い総合技術ソリューションを提供するだけでなく、お客様のビジネスプロセスを深く理解することも重要です。私たちは第三者の視点と客観的な判断力を持ち、お客様の価値命題を整理し、課題を収集し、適切な解決策を提案し、ビジネスの目標を体系的に達成するために、最も費用対効果の高い使いやすいプロトタイプを作成することをお手伝いしています。

この手法をAWSでは「逆に働く」と呼んでいます。これは、技術やソリューションを一旦置いておき、お客様の期待する結果から出発し、その価値を確認し、最終的な解決策を実施する前に、逆の順序で何をするべきかを推論することを意味しています。実装フェーズでは、最小限の製品というコンセプトに従い、数週間以内に価値を生み出すプロトタイプを迅速に形成し、それをイテレーションしていくことも行っています。

今日は、AWSとニューホープダイアリーがクラウド上にスマートファームを構築したケーススタディを見てみましょう。このブログ投稿から、AWSがスマートファームの構築にどのようなサポートを提供できるか、そしてAWS専門家と一緒にクラウド上でスマートファームアプリケーションを構築する方法について、深く理解することができます。

プロジェクトの背景

ミルクは栄養豊富な飲み物です。中国では国民の健康を考慮して、乳製品産業の発展を積極的に推進しています。ユーロモニターインターナショナルのデータによると、2020年に中国の乳製品の販売額は6385億元に達し、2025年には8100億元に達すると予測されます。また、過去14年間の年平均成長率も10％に達し、急速な発展を示しています。

• Amazon PersonalizeとAmazon OpenSearch Serviceの統合により、検索結果をパーソナライズします
• 「Amazon PharmacyはAmazon SageMakerを使用して、LLMベースのチャットボットを作成する方法を学びましょう」
• 印象的なパフォーマンス：TensorRT-LLMを使用したRTXで最大4倍高速化された大規模言語モデル（LLM） for Windows

一方で、2022年時点では、中国の乳製品業界の収益の大部分はまだ液体ミルクから得られています。生乳の60％は液体ミルクとヨーグルトに使用され、さらに20％は液体ミルクの派生品であるミルクパウダーです。チーズやクリームなどの高度に加工された製品にはごくわずかしか使用されていません。

液体ミルクは軽度に加工された製品であり、その生産量、品質、コストは生乳と密接に関連しています。これは、乳製品業界が高度に加工された製品の生産に集中し、新しい製品を創造し、より革新的なバイオテクノロジー研究を行うためには、まず生乳の生産と品質を改善し安定させる必要があることを意味します。

乳製品業界のリーダーであるニューホープダイアリーは、牧場の運営効率を改善し、生乳の生産と品質を向上させる方法について考えてきました。ニューホープダイアリーは、AWSの第三者の視点と技術的な専門知識を活用して、乳製品業界のイノベーションを促進したいと考えています。ニューホープダイアリーのVP兼CIOである胡六桐氏のサポートと推進により、AWSのカスタマーチームは乳牛農場の運営と潜在的なイノベーションポイントを組織し始めました。

乳牛農場の課題

AWSはクラウドテクノロジーの分野で専門家ですが、乳製品業界でのイノベーションを実施するには、乳製品の専門家からの専門的な助言が必要です。そのため、ニューホープダイアリーの生産技術センターの副所長である宋良榮氏、牧場の管理チーム、栄養士との数回にわたるインタビューを行い、農場が直面しているいくつかの問題と課題を把握しました。

まずは予備牛の棚卸し

牧場の乳牛は乳牛と予備牛の2種類に分かれています。乳牛は成熟し続けてミルクを生産しますが、予備牛はまだミルクを生産する年齢に達していません。大規模でVoAGIサイズの牧場では、予備牛に対してより大きな屋外活動エリアを提供して、より快適な成長環境を作ります。

しかし、乳牛と予備牛の両方は牧場の資産であり、毎月棚卸しする必要があります。乳牛は毎日搾乳され、搾乳中は比較的動きが少ないため、棚卸し追跡は容易です。しかし、予備牛は開放的な空間にいて自由に動き回るため、棚卸しは不便です。棚卸しは数人の作業員が異なるエリアから予備牛を反復して数え、最終的に数を確認するプロセスです。このプロセスには数人の作業員が1〜2日を費やし、数の整合性が問題になることや、各牛が数えられたかについての不確実性が頻繁にあります。

予備牛の棚卸しを迅速かつ正確に行う方法があれば、大幅な時間を節約することができます。

次に、立ち往生牛の特定です

現在、ほとんどの乳製品企業はホルスタインという品種を使用してミルクを生産しています。ホルスタインは私たちがよく知っている黒と白の牛です。しかし、同じ品種を使用しているにもかかわらず、異なる企業や牧場の間でミルクの生産量や品質には差があります。これは、乳牛の健康状態が直接ミルクの生産に影響を与えるためです。

しかし、牛は人間のように自分自身で不快感を表現することができないため、獣医師が数千頭の牛に定期的に身体検査をすることは実用的ではありません。そのため、牛の健康状態を迅速に判断するためには、外部の指標を使用する必要があります。

牛の健康の外部指標には、体条件スコアと跛行度が含まれます。体条件スコアは主に牛の体脂肪率と関連があり、長期的な指標です。一方、跛行は脚の問題や足の感染などによる短期的な指標であり、牛の気分、健康状態、乳生産に影響を与えます。また、成体のホルスタイン牛は500 kgを超える重さになることがあり、不安定な場合は足に重大な害を与える可能性があります。そのため、跛行が発生した場合には、可能な限り早期に獣医師が介入する必要があります。

2014年の研究によれば、中国の重度の跛行牛の割合は31％にもなることがあります。この研究以来状況が改善されている可能性もありますが、農場での獣医師の数は非常に限られているため、牛の定期的なモニタリングは困難です。跛行が検出されると、状況はしばしば深刻であり、治療は時間がかかり困難であり、乳生産は既に影響を受けています。

もし牛の跛行をタイムリーに検出し、獣医師が軽度の跛行段階で介入する方法があるならば、牛の全体的な健康と乳生産が向上し、農場のパフォーマンスも改善されるでしょう。

最後に、飼料コストの最適化があります

畜産業において、飼料は最大の可変費用です。飼料の品質と在庫を確保するために、農場は国内外のサプライヤーから飼料原料を購入し、飼料配合工場に輸送して加工します。現代の飼料原料には、大豆粕、トウモロコシ、アルファルファ、オート草などさまざまなタイプがあり、多くの変数が存在します。各種類の飼料原料にはそれぞれ価格サイクルと価格の変動があります。大幅な変動がある場合、飼料の総費用は15％以上変動することがあり、重大な影響を与えます。

飼料コストは変動する一方、乳製品の価格は長期的には比較的安定しています。したがって、それ以外の条件が変化しない場合、飼料コストの変動だけで全体的な利益が大きく変動することがあります。

この変動を回避するためには、価格が低い時により多くの原料を保管することが必要です。しかし、価格が本当に低位にあるかどうかと、現在の消費率に応じてどの量の飼料を購入すべきかも考慮する必要があります。

もし飼料の消費量を正確に予測し、全体的な価格トレンドと組み合わせて最適な購入時期と量を提案する方法があれば、農場のコストを削減し、効率を向上させることができます。

これらの問題は農場の運営効率を向上させるという顧客の目標と直接関係しており、それぞれの方法は労働力の解放、生産の増加、コストの削減です。それぞれの問題の解決の難しさと価値に関する議論を通じて、私たちは生産の増加を出発点とし、跛行牛の問題の解決を優先しました。

研究

技術について議論する前に、研究を行う必要がありました。この研究は、AWSの顧客チーム、機械学習アルゴリズムモデルを管理するAWS Generative AI Innovation Center、最新のコンピュータビジョン研究におけるアルゴリズムコンサルテーションを提供するAWS AI Shanghai Lablet、そしてニューホープデイリーの専門農業チームが共同で行いました。この研究は以下のように分割されました。

• 跛行牛の伝統的な紙ベースの識別方法を理解し、跛行牛の基本的な理解を開発する。
• 農場や業界で使用されている既存の解決策を確認する。
• 農場の環境研究を実施し、物理的状況と制限を理解する。

資料の研究と現地のビデオの観察を通じて、チームは跛行牛の基本的な理解を得ました。以下のアニメーション画像で跛行牛の体勢の基本的なイメージも得ることができます。

相対的に健康な牛とは対照的に。

不健康な牛は、姿勢や歩行に健康な牛と比べて明らかな違いがあります。

既存の解決策に関しては、ほとんどの牧場は不健康な牛を特定するために、獣医や栄養士による目視検査に頼っています。業界では、着用型歩数計や加速度計を使用した識別のための解決策、および分割重量橋を使用した識別のための解決策がありますが、いずれも比較的高価です。競争力の高い乳業界では、識別コストと非汎用ハードウェアへの依存を最小限に抑える必要があります。

牧場の獣医と栄養士と情報を共有し、分析した後、AWS Generative AI Innovation Centerの専門家チームは、通常のハードウェアである一般的な監視カメラのみに依存した識別のために、コンピュータビジョン（CV）を使用することを決定しました。これにより、牛に追加の負担をかけずにコストと使用の壁を下げることができます。

この方向性を決定した後、数千頭の牛がいるVoAGI規模の牧場を訪れ、牧場の環境を調査し、カメラの配置位置と角度を決定しました。

始動提案

さて、解決策について。当社のCVベースの解決策の核心は、次の手順から構成されています：

• 牛識別： 複数の牛を1つのビデオフレームで識別し、各牛の位置をマークします。
• 牛トラッキング： ビデオが記録されている間、フレームが変化するたびに牛を連続して追跡し、各牛に固有の番号を割り当てます。
• 姿勢マーキング： 牛の画像をマーキングポイントに変換することにより、牛の移動の次元を削減します。
• 異常識別： マーキングポイントの動態における異常を識別します。
• 不健康な牛アルゴリズム： 異常を正規化して牛の不健康の度合いを決定するスコアを取得します。
• 閾値決定： 専門家の入力に基づいて閾値を取得します。

AWS Generative AI Innovation Centerの専門家の判断によれば、最初のいくつかの手順はオープンソースモデルを使用して解決できる一般的な要件であり、後の手順では数学的な方法と専門家の介入が必要です。

解決策の困難点

コストと性能のバランスを取るために、VoAGI規模の事前訓練モデルであるyolov5lモデルを選びました。このモデルは、入力幅が640ピクセルで、このシーンにおいて良好な性能を提供します。

YOLOv5は単一の画像内で牛を認識しタグ付けする役割を果たしていますが、実際のビデオは連続的に変化する複数の画像（フレーム）で構成されています。 YOLOv5は、異なるフレーム内の牛が同じ個体に属していることを識別することはできません。複数の画像にわたって牛をトラックして特定するためには、SORTと呼ばれる別のモデルが必要です。

SORTは、シンプルなオンラインおよびリアルタイムトラッキングを意味し、オンラインの場合は他のフレームを考慮せずに現在と前のフレームのみを考慮して追跡し、リアルタイムの場合はオブジェクトの識別を即座に行うことができます。

SORTの開発後、多くのエンジニアが実装と最適化を行い、OC-SORTの開発につながりました。OC-SORTはオブジェクトの外観を考慮し、DeepSORT（およびそのアップグレードバージョンであるStrongSORT）は人の外観も含み、ByteTrackは低信頼度の認識を考慮するために2段階の関連リンカーを使用します。テストの結果、このシーンでは、DeepSORTの外観追跡アルゴリズムは牛よりも人に適しており、ByteTrackの追跡精度は若干劣っていると判明しました。その結果、私たちは最終的にOC-SORTを私たちのトラッキングアルゴリズムとして選びました。

次に、DeepLabCut（DLC）を使用して牛の骨格ポイントをマークします。DLCはマーカーレスモデルであり、異なるポイント（頭部や四肢など）には異なる意味があるかもしれませんが、DLCにとってはすべてポイントであり、ポイントをマークしてモデルをトレーニングするだけで済みます。

これには新たな問題が生じます：各牛にどのくらいのポイントをマークし、どこにマークすべきか？この問題の答えは、マーキング、トレーニング、およびその後の推論の効率に影響を与えます。この問題を解決するには、まず不健康な牛を特定する方法を把握する必要があります。

私たちの研究と専門家の意見に基づくと、動画で見られる具合の悪い牛は以下の特徴を示しています：

• 背中が反った状態：首と背中が曲がり、首の骨の根元と三角形を形成しています（背中が反っている）。
• 頻繁な首振り：1歩ごとにバランスを失い、滑ってしまい、頻繁に首を振る（頭をふる）ことがあります。
• 不安定な歩行：数歩を踏むと牛の歩行が変わり、わずかな一時停止があります（歩き方のパターンが変わる）。

首や背中の曲がり具合、頭を振ることに関して、AWS Generative AI Innovation Centerの専門家は、牛に7つの背中のポイント（頭に1つ、首の基部に1つ、背中に5つ）をマーキングすることで、正しい識別が可能になると結論付けました。識別の枠組みができたので、不安定な歩行のパターンも認識できるはずです。

次に、数式を使って識別結果を表し、アルゴリズムを形成します。

これらの問題を人が識別するのは難しくありませんが、コンピュータが識別するためには正確なアルゴリズムが必要です。たとえば、牛の背中の座標点が与えられた場合、プログラムが背中の曲がり具合の度合いをどのように知るのでしょうか？また、牛が頭を振っているかどうかはどのように判断するのでしょうか？

背中の曲がり具合に関しては、まず牛の背中を角度として扱い、その角度の頂点を見つけることで角度を計算します。この方法の問題は、脊椎が両方向に曲がっている場合、角度の頂点を特定するのが難しいということです。この問題を解決するために、他のアルゴリズムに切り替える必要があります。

頭を振ることに関しては、牛の全体の姿勢の曲線の違いを比較して、牛が首を振っているかどうかをFréchet距離を用いて判定する方法を最初に考えました。しかし、問題は牛の骨格点がずれている可能性があり、類似した曲線間に大きな距離が生じることです。この問題を解決するために、認識ボックスに対する頭の位置を取り出し、正規化する必要があります。

頭の位置を正規化した後、新たな問題が発生しました。以下の画像で示されているように、左側のグラフは牛の頭の位置の変化を示しています。認識の精度の問題により、頭のポイントの位置は常にわずかに揺れます。これらの小さな動きを取り除き、頭の比較的大きな動きの傾向を見つける必要があります。これには信号処理の知識が必要です。Savitzky-Golayフィルタを使用することで、信号を平滑化し、その全体的なトレンドを取得することができます。右のグラフに示されているように、首振りを識別するのがより簡単になります（オレンジの曲線）。

さらに、数十時間のビデオ認識の結果、非常に背中が反った牛でも実際には曲線を描かなかったことがわかりました。これについての詳しい調査の結果、DLCモデルのトレーニングに使用された牛のほとんどが黒または黒と白であり、白色または純白に近い牛が少ないため、体の大きな白い部分がある場合に誤って認識されることがありました。以下の図に示されているように（赤い矢印）、これはさらなるモデルのトレーニングによって修正することができます。

上記の問題の解決に加えて、解決が必要な他の一般的な問題もありました：

• ビデオフレームには2つのパスがあり、遠くの牛も認識される場合があり、問題が発生することがあります。
• ビデオのパスには一定の曲線があり、牛がパスの側面にいるときは体長が短くなり、姿勢の認識が誤ってしまうことがあります。
• 複数の牛が重なったり、フェンスに遮られることにより、同じ牛が2つとして認識される場合があります。
• トラッキングパラメータとカメラのフレームスキップにより、牛を正確に追跡することができず、IDが混乱する問題が生じることがあります。

短期間では、New Hope Dairyとの調整を基に、最小限の実行可能な製品を提供し、それに基づいて反復することで、これらの問題は通常は外れ値判定アルゴリズムと信頼性フィルタを組み合わせて解決できます。もし解決できなければ、無効なデータとなり、追加のトレーニングを行い、アルゴリズムとモデルを継続的に反復する必要があります。

長期的には、AWS AI Shanghai Labletは、彼らのオブジェクト中心の研究に基づいて、前述の問題を解決するための将来の実験提案を提供しました。 また、無効な外れ値データを無効化するだけでなく、ポーズ推定、アモーダルセグメンテーション、教師付きトラッキングのためにより正確なオブジェクトレベルのモデルを開発することによっても問題を解決することができます。ただし、これらのタスクに対する従来のビジョンパイプラインは通常、広範なラベリングが必要です。オブジェクト中心の学習は、追加の監督なしでピクセルをオブジェクトに結び付ける問題に取り組むことに焦点を当てています。この結び付けプロセスは、オブジェクトの位置情報だけでなく、ダウンストリームタスクのための堅牢かつ適応性のあるオブジェクト表現をも提供します。オブジェクト中心のパイプラインは自己教師付きまたは弱教師付きの設定に焦点を当てているため、顧客のラベリングコストを大幅に増やすことなく性能を向上させることができます。

一連の問題を解決し、農場の獣医師と栄養士によって与えられたスコアを組み合わせることで、我々は牛の包括的な跛行スコアを得ました。これにより、重度、中等度、軽度など、さまざまな程度の跛行がある牛を特定することができ、また牛の複数の体勢属性も特定することができ、さらなる分析と判断を支援します。

数週間で、弱そうな牛を特定するためのエンドツーエンドのソリューションを開発しました。このソリューションのためのハードウェアカメラのコストはわずか300元であり、g4dn.xlargeインスタンスを使用した場合のAmazon SageMakerのバッチ推論は、2時間の映像について約50時間かかり、合計でわずか300元です。本番に入ると、週に5つの牛のバッチが検出される場合（約10時間と仮定）、および保存された映像とデータが含まれる場合、数千の牛がいるVoAGIサイズの牧場の月間検出コストは1万元を下回ります。

現在、我々の機械学習モデルのプロセスは次のようになっています:

1. 生のビデオを記録します。
2. 牛を検出して識別します。
3. 各牛を追跡し、特徴点を検出します。
4. 各牛の動きを分析します。
5. 跛行スコアを決定します。

モデルの展開

以前に機械学習に基づく弱そうな牛の特定のソリューションを説明しました。これらのモデルをSageMakerに展開する必要があります。以下の図に示すように:

• まず、AWSのServerless Video Streaming Solutionを使用してリアルタイムのビデオを取得し、Amazon Simple Storage Service (Amazon S3)に保存します。
• 次に、Amazon EventBridgeを使用して、SageMakerのバッチ処理にスケジュールされたタスクを設定します。顧客はリアルタイムの結果を必要としないため、バッチ処理はGPUインスタンスの効率をさらに向上させ、コストを削減することができます。
• バッチ処理中、SageMakerはAmazon Elastic Container Registry (Amazon ECR)からドッカーイメージを取得し、S3バケットからビデオデータを取得します。その後、推論プロセスが開始され、結果はS3バケットに保存されます。

ビジネスの実装

もちろん、これまでに話した内容は、私たちの技術的な解決策の核心に過ぎません。全体のソリューションをビジネスプロセスに統合するために、以下の問題にも対処する必要があります：

• データフィードバック： 例えば、獣医師には、処理が必要な蹄の悪い牛をフィルターし、表示するためのインターフェースを提供し、このプロセス中にデータを収集して訓練データとして使用する必要があります。
• 牛の識別： 獣医師が蹄の悪い牛を見た後、その牛の番号や場所など、牛の識別情報を知る必要があります。
• 牛の位置特定： 数百頭の牛がいる柵の中で、対象の牛の位置を素早く特定する必要があります。
• データマイニング： 例えば、蹄の度合いが給餌、反芻、休息、乳生産にどのような影響を与えるかを調べることです。
• データ駆動型： 例えば、蹄の悪い牛の遺伝的、生理的、行動的特徴を特定し、最適な繁殖と繁殖を実現するために使用することです。

これらの問題に対処することで、ソリューションは真のビジネスの問題を解決し、収集されたデータは長期的な価値を生み出すことができます。これらの問題の一部はシステム統合の問題であり、他の問題は技術とビジネスの統合の問題です。今後の記事でこれらの問題について詳細な情報を共有します。

まとめ

この記事では、AWSカスタマーソリューションチームが顧客のビジネスに基づいて迅速にイノベーションを行う方法を簡単に説明しました。このメカニズムには以下の特徴があります：

• ビジネス主導： 技術に関する話し合いをする前に、顧客の業界とビジネスプロセスを理解するために現地で顧客と会って優先し、その後、顧客の問題点、課題、問題を探求し、技術で解決できる重要な問題を特定します。
• 即時利用可能： 顧客に対して単純で完全かつ利用可能なプロトタイプを直接提供し、数週間ではなく数か月以内にテスト、検証、迅速なイテレーションが可能となります。
• 最小限のコスト： 価値が真に検証されるまで、顧客の費用を最小限にしたり、完全に排除したりします。これはAWSの倹約主義の指導原則と一致しています。

私たちと乳業界との共同イノベーションプロジェクトでは、ビジネスの専門家と協力して具体的なビジネス問題を特定するだけでなく、お客様と一緒に農場や工場で現地調査も行いました。現地でのカメラの配置場所を決定し、カメラを設置・展開し、ビデオストリーミングソリューションを展開しました。AWSジェネレーティブAIイノベーションセンターの専門家たちが顧客の要件を解析し、アルゴリズムを開発し、それをソリューションアーキテクトが全体のアルゴリズムにエンジニアリングしました。

推論ごとに、分解されたタグ付きの牛の歩行ビデオを数千本取得でき、各ビデオには元のビデオID、牛のID、蹄の悪さスコア、さまざまな詳細なスコアが記録されています。完全な計算ロジックと生の歩行データも保存し、後続のアルゴリズムの最適化に活用しています。

蹄のデータは獣医師による早期介入だけでなく、搾乳機のデータとのクロス解析にも利用でき、追加の検証次元を提供し、以下のような追加のビジネスの質問に答えることができます：最も高い乳量を出す牛の身体的特徴は何ですか？牛の乳生産における蹄の影響は何ですか？蹄の悪い牛の主な原因は何であり、どのように予防できるのでしょうか？この情報は農場の運営に新たなアイデアを提供します。

蹄の悪い牛の特定の物語はここで終わりますが、農業のイノベーションの物語はこれから始まります。今後の記事では、他の問題を解決するために顧客と密接に協力する方法について引き続き議論します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!