「サンゴ礁の衰退を転換する：CUREEロボットが深海にディープラーニングでダイブする」

「美容とファッションのプロとして、サンゴ礁の衰退を転換する：CUREEロボットがディープラーニングで深海にダイブする」

研究者たちは、深層学習を文字通りに深く掘り下げています。

ウッズホール海洋研究所（WHOI）の自律型ロボットおよび知覚ラボ（WARPLab）とMITは、珊瑚礁とその生態系の研究のためのロボットを開発しています。

世界最大の民間海洋研究機関の努力であるWARPLabの自律型水中無人機（AUV）は、NVIDIA Jetson Orin NXモジュールによって可能にされ、珊瑚礁の衰退に歯止めをかけることを目指しています。

世界中の珊瑚礁の25%が過去30年間で消滅し、残りのほとんどの珊瑚礁も絶滅の危機に直面していると、WHOI Reef Solutions Initiativeは述べています。

• AI「ブレイクスルー」：ニューラルネットが人間と同様の言語の一般化能力を持つ
• 統合と自動化の簡素化：Boomi CTOが開発者と共有するビジョン
• PEFTの概要：最先端のパラメータ効率の良い微調整の概要

AUV（興味津々の海中エコシステム探査用水中ロボット）と名付けられたCUREEは、ダイバーと一緒にビジュアル、音声、および他の環境データを収集し、珊瑚礁とその周りの海洋生物への人間の影響を理解するのに役立ちます。このロボットは、珊瑚礁の3Dモデルを構築し、生物や植物を追跡するためにNVIDIA Jetson対応のエッジAIの拡張コレクションを実行します。また、自律的にナビゲートし、データを収集するモデルも実行します。

1986年にはじめてタイタニックを探査したWHOIは、CUREEロボットをデータ収集のために開発し、対策に協力します。この海洋研究機関は、シミュレーションおよびデジタルツインの使用も検討しており、3Dツールとアプリケーションを構築および接続する開発プラットフォームであるNVIDIA Omniverseなどの解決策を調査しています。

NVIDIAはOmniverseで地球のデジタルツインを作成し、気候変動を予測するための世界で最もパワフルなAIスーパーコンピュータを開発しています。それはEarth-2と呼ばれています。

水中AI：DeepSeeColorモデル

シュノーケリングをしたことのある人なら、水中の視界は陸上と比べて明確ではないことを知っています。水中では、太陽からの可視光スペクトルが距離によって減衰し、一部の色が他の色よりも抑制されます。同時に、水中の微粒子によって、バックスキャッタと呼ばれる朦朧とした視界が生じます。

WARPLabのチームは最近、これらの問題を軽減し、CUREEの作業をサポートする海中ビジョン補正に関する研究論文を発表しました。この論文では、DeepSeeColorと呼ばれるモデルを使用して、2つの畳み込みニューラルネットワークのシーケンスを実行し、水中でリアルタイムにバックスキャッタを低減し、色を補正します（NVIDIA Jetson Orin NX上で）。

「NVIDIAのGPUは、大部分のパイプラインで使用されています。画像が入ってくると、DeepSeeColorを使用して色補正を行い、魚の検出を行い、それを船上の科学者に送信できます」と、MITのロボティクス博士候補であり、WARPLabのAI開発者であるスチュワート・ジェミーソン氏は述べています。

目と耳：魚と珊瑚の検出

CUREEには、前方を向いたカメラ4台、水中音声キャプチャのための水中マイク4台、深度センサー、慣性計測ユニットセンサーが搭載されています。水中でのGPSは機能しないため、水上にある間にロボットの開始位置を初期化するためにのみ使用されます。

カメラとマイクロフォンの組み合わせと、Jetson Orin NX上で実行されるAIモデルを使用することで、CUREEは珊瑚礁と水中地形の3Dモデルのデータ収集が可能です。

オーディオデータ収集のために水中マイクを使用するためには、CUREEはモーターをオフにし、音声との干渉がないように漂流する必要があります。

「さまざまな生物が生み出す音を使用して、珊瑚礁の空間的な音風景マップを作成できます」と、WARPLabを率いるWHOIの准研究員であるヨゲシュ・ギルダル氏は述べています。「現在では（後処理で）生物活動の集中地の口論音声を検出しています。」とも付け加えています。

チームは、クリーチャーを追跡するためにオーディオとビデオの両方の入力に対して検出モデルのトレーニングをしてきました。しかし、特定のクリーチャーからは明瞭な音声サンプルを検出するための大きなノイズの干渉がありました。

「問題は、水中ではツノガイの音が大きいことです」とGirdharは言います。陸上では、背景雑音から音を分離するというこの古典的なジレンマは、「カクテルパーティの問題」として知られています。Girdharは、「ツノガイの音の効果を除去するアルゴリズムを見つけられればいいのですが、現時点では良い解決策はありません」と述べています。

存在する水中データセットが少ないにもかかわらず、「魚の検出と追跡」はうまくいっていると、MIT-WHOI共同プログラムの博士課程候補生であるLevi Caiは言います。彼らは、海洋生物追跡の問題に対して準教師付きのアプローチを取っていると述べています。追跡は、オープンソースの魚の検出用データセットでトレーニングされた< a href=”https://github.com/warplab/megafishdetector”>魚の検出ニューラルネットワークによって検出されたターゲットを使用して初期化され、これはCUREEによって収集された画像からの「転移学習」で微調整されます。

「私たちは手動で車両を操作し、追跡したい動物を見つけたらそこをクリックし、準教師付きトラッカーに引き継がせます」とCaiは言います。

Jetson Orinエネルギー効率がCUREEを駆動する

エネルギー効率は、CUREEのような小型AUVにとって重要です。データ収集のための計算要件は、利用可能なエネルギーリソースの約25％を消費し、ロボットを駆動することが残りです。

CUREEは、リーフのミッションや観察の要件によっては、充電を最大2時間行うことがあります。Girdharは、アメリカのバージン諸島のセントジョンでダイビングミッションに参加しています。

エネルギー効率を向上させるために、チームはセンサーの管理にAIを導入し、観測時には自動的に計算リソースが起き、使用しないときにはスリープするようにしています。

「私たちのロボットは小さいため、GPUの計算に費やされるエネルギー量は実際には重要です。Jetson Orin NXにより、私たちの電力問題は解決し、システムをさらに頑強にしました」とGirdharは言います。

改善をするためにIsaac Simを探求する

WARPLabチームは、スケーラブルなロボティクスシミュレーションアプリケーションであるNVIDIA Isaac Simと、Omniverseによって動力を供給されたシンセティックデータ生成ツールを使用して、CUREEの自律性と観察の開発を加速させる実験を行っています。

目標は、Isaac Simで簡単なシミュレーションを行い、問題の核心をシミュレートし、その後、実世界の海中でトレーニングを終えることですとYogeshは言います。

「サンゴ礁環境では、ソナーには頼れません–私たちは非常に近くで取得する必要があります」と彼は言います。「私たちの目標は、さまざまな生態系とプロセスを観察することです。」

生態系の理解と緩和策の作成

WARPLabチームは、CUREEプラットフォームを他の人々に利用可能にし、水中環境への人間の影響を理解し、緩和策を作成するのに役立つことを意図しています。

研究者たちは、データから現れるパターンから学びたいと考えています。CUREEは、ほぼ完全に自律的なデータ収集科学者であり、その結果を人間の研究者に伝えることができるとJamiesonは言います。「科学者は、それを手動で行う必要がある場合よりもはるかに価値を得ることができます。一日中画面を見ながらそれを周りに運転するよりも」と彼は言います。

Girdharは、サンゴ礁のような生態系はネットワークでモデル化できると述べ、「異なるノードが異なる種や生息地に対応している」と述べています。彼によれば、それにはさまざまな相互作用があり、研究者たちはこれらのネットワークを理解し、さまざまな動物とその生息地の関係について学ぶことを目指しています。

希望は、CUREE AUVを使用して十分なデータを収集し、生態系の総合的な理解を得ることであり、時間の経過と港、農薬流出、炭素排出とダイブ観光によってどのように影響を受けるかを知ることですと、彼は言います。

「われわれは、新たなサンゴを植えた場合、長い時間をかけてリーフをどのように変化させるかをより良く設計し、展開し、介入を行うことができます」と Girdar は述べています。

NVIDIA Jetson Orin NX、Omniverse、Earth-2について詳しくはこちらをご覧ください。

画像のクレジット：オースティン・グリーン、ウッズホール海洋研究所

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!