研究者たちは、ビデオ記録を使用して、鳥の姿勢を3Dで追跡するための新しいマーカーレスAIメソッドを開発しました

Researchers developed a new markerless AI method to track bird posture in 3D using video recordings.

動物や鳥の行動、視線、微小な動きを追跡することは、研究者にとって困難な課題であり、正確な3Dアノテーションと複数の角度から撮影されたマーカーレスポーズトラッキングのための動物の注釈付き画像の大規模なデータセットの入手が依然として不足しています。鳥や動物の複雑な行動を観察し理解することの複雑さは、革新的なトラッキング方法の開発に世界的な取り組みをもたらしました。

この課題に取り組むため、コンスタンツ大学の集団行動の高度な研究のための卓越クラスター（CASCB）からの研究者たちは、行動研究を進めるためのデータセットを開発しました。このマーカーレスメソッドにより、個々の鳥の微小な行動を追跡し、その動きを観察することが可能になりました。

この研究チームは、映像記録を用いて鳥のポーズを識別し追跡するマーカーレスメソッドを成功裏に作成しました。彼らはこの方法を3D-POP（3Dポーズオブピジョン）と呼んでいます。この方法により、ピジョンの映像を記録し、各個体の視線と行動を簡単に識別することができます。したがって、動物にトランスミッターを取り付けて鳥を追跡および識別する必要はもはやありません。

• スタンフォード大学の研究者が、言語モデルの事前トレーニングのための拡張可能な二次最適化手法であるSophiaを紹介しました
• このPythonライブラリ「Imitation」は、PyTorchでの模倣と報酬学習アルゴリズムのオープンソース実装を提供します
• 「Ph.D.学生や研究者向けの無料オンラインコース10選」

また、このデータセットにより、2つのカメラのみを使用して鳥の行動パターンを集合的に研究することが可能になりました。研究者たちは、鳥にとって頭部と体の方向を追跡することで、給餌（地面つつく）、整理、警戒（頭部スキャン）、求愛（頭部下げる）、または歩行などの多くの重要な行動を定量化することができるという事実を利用しました。

この3D-POPメソッドを策定した研究者たちは、さまざまな視点から18羽のユニークなピジョンの映像記録を含め、グループのサイズが1、2、5、10のバリエーションを収集しました。彼らはまた、300Kフレームのデータセット全体での個々の識別、2D-3D軌跡、および2D-3Dポーズマッピングのための真の値を提供しました。彼らが作成したデータセットには、バウンディングボックス形式のオブジェクト検出のアノテーションも含まれています。

研究者たちは、ジュート生地（3.6m x 4.2m）上を移動するハトからデータセットを収集しました。そして、その生地上に穀物をばらまいて、ハトがその生地エリアで餌を食べるように促しました。その餌付けエリアは、モーションキャプチャ（mo-cap）システム（15m x 7m x 4m）が備えられた大型の囲いの中にありました。モーションキャプチャシステムには、モーションキャプチャカメラ（12台のVicon Vero 2.2、18台のVicon Vantage-5カメラ；100Hz）が30台装備されていました。餌付けエリアの角には、標準の三脚に取り付けられた4台の高解像度（4K）ソニーアクションカメラと、RGBと赤外線LEDライトを5秒ごとに点滅させるArduinoベースの同期ボックスが設置されていました。これらの18羽のハトは6日間の実験のために使用されました。実験のためには、毎日ランダムに10羽のハトが選ばれました。

この方法は、動物の行動、視線、微小な動きの追跡に役立っています。研究者たちは、このアノテーション方法が他の鳥や他の動物でも使用できると提案しており、研究者は他の動物の行動を研究し分析することもできるとしています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!