タルモ・ペレイラによる生物学と神経学の研究のためのSLEAP AIツールの力

SLEAP AIツールでのタルモ・ペレイラによる研究の力

このインタビューに参加し、複雑な生物学的システムの研究におけるAIベースの手法の開発についての彼の物語といくつかの洞察を共有してくれたソーク研究所のSalkフェロー、タルモ・ペレイラに感謝します。彼の最近の研究は、SLEAPツールを使用したマーカーレスモーションキャプチャを通じた行動の数量化に焦点を当てています。これは神経科学、がん研究、植物生物学などに応用されます。SLEAPは動物、植物、人間の動きを追跡し、病気の予測や気候変動の緩和を支援します。ペレイラは、ビデオ内の行動パターンを分析して疾患を早期に診断するためにAIを使用することを想定しています。

研究の背景、数量的フェノタイプ化への貢献、および行動理解の課題

ソーク研究所に入る前に、どこで働いていましたか？

ソークに入る前は、プリンストン大学で神経科学の博士号を取得し、Mala MurthyとJosh Shaevitzとともに働き、Google AIで博士研究員として働いていました。私の焦点は、ビデオからのモーションキャプチャと行動の数量化のためのコンピュータビジョンの手法の開発でした。

最近の研究は、複雑な行動の数量的フェノタイプ化の分野にどのように貢献していますか？

私の最近の研究は、マーカーレスモーションキャプチャ、またはポーズトラッキングとしても知られる問題に焦点を当てていました。ハリウッドでモーションキャプチャスーツが使用され、俳優の体の部位の動きを追跡してCGIシーケンスを作成するのと同様に、マーカーレスモーションキャプチャでは、スーツなしで同じことをするというアイデアがあります。

• 「解説者に続いて、ウィンブルドンでAIがライン審判を置き換える可能性がある」
• 「ウォール街を打倒するために暗号通貨が誓ったが、代わりに飲み込まれている」
• 「ウォールストリートを打ち倒すと誓われた暗号通貨が、その代わりに飲み込まれつつある」

これはコンピュータにとって複雑なタスクですが、現代のAIの基盤である深層ニューラルネットワークの出現により、はるかに解決可能になりました。これらのネットワークが非常にうまく機能する1つの理由は、大量のデータから学習できることです。この場合、人々のさまざまな設定で手動で注釈が付けられた大量のイメージ、つまり各体の部位の「正しい位置」をクリックしたクラウドワーカーによって注釈が付けられたイメージです。

ビデオシーケンス全体で体の部位を追跡するためにトレーニングされたニューラルネットワークを持っていると、それらの動きのパターンを使用して複雑な行動の数量的フェノタイプを推測することができます。たとえば、個体が走っているか頭をかいているかを検出し、それを行うために体の部位をどのように動かすかの統計的な説明を得ることができます。

神経科学における動物と人間の行動を理解する上での主な課題は何ですか？

行動を理解するための多くの課題がありますが、これらのAIアプローチが解決する主な課題は、数量的に測定する方法です。行動の基になる動きをキャプチャすることで、グルーミングやジャンプなど既知の行動の発生を自動的に検出する方法を考案することができます。その後、既知の行動のタイミングや頻度を疾患の有無などの実験変数と相関させることで、生物学と観察可能な行動の関連性を確立することができます。動物では、動物がいる環境条件を制御し、より長期間記録し、さらに実験を行って脳と体の内部状態を測定して、行動パターンとの関連性を検証することができるため、これがより容易に検証可能です。

もっと難しい問題は、まず最初に行動が何であるかを定義することです。たとえば、「速歩」と「ゆっくりジョギング」の違いはどこにあるのでしょうか？両方とも同じ速度で前進することができますが。（興味がある方は、Calhoun et al.は「暑い空気に反応して汗をかく」という例など、さらに難しい例を探求しています。）Keypoint-MoSeq（Weinreb et al、2023）などの方法は、データの統計的なパターンに基づいて行動を定義するためにポーズトラッキングを活用することができるようになりました。これらはより客観的であるという約束を持っていますが、行動についての明確で既知の区別に関する知識を組み込む能力に欠けています。

いずれの場合でも、ポーズトラッキングが始点であり、明確で曖昧さのない動きの表現としているため、ピクセルデータだけから「行動」を識別しようとするよりもはるかに良い出発点になっています。なぜなら、それは私たちに体の部位がどのように動いているかについての直接の情報を与えてくれるからです。そして、これが脳が（多くの形態の）行動を生み出す方法です。

SLEAP：革新的なモーショントラッキング技術のための人工知能の活用

SLEAPは人工知能をどのように使用していますか？

SLEAPは、深層ニューラルネットワークを使用したオープンソースの多種多様な動物の姿勢追跡ソフトウェアです。これは、画像内のポーズを自動的に追跡するために、画像のトレーニングセット内で各ボディパーツの位置がどこにあるべきかを学習するために、現代のAIの中核アルゴリズムであるディープニューラルネットワークを使用しています。

SLEAPの主なイノベーションの1つは、非常に小さなトレーニングセット（数十から数百の画像）でこれらのニューラルネットワークモデルをトレーニングできる能力です。これにより、トレーニングセットの生成に産業研究所のリソースを必要としない形式のAIを実用的に使用することが可能になります。これにより、動物の行動研究で見られるさまざまなデータセットを対象としたマーカーレスなモーションキャプチャを実際に使用することができます。

SLEAPツールの主なイノベーションは何ですか？

SLEAPは、単一のモデルやメソッドではなく、フレームワークです。これは、ユニークな特性を持つ複雑なデータセットが多数存在するという観察に基づいています。すべてに適用可能なアルゴリズムを見つけようとする代わりに、SLEAPはそれぞれがトレードオフと使用ケースに適合するさまざまなアルゴリズムを実装しています。たとえば、フレーム内に複数の対象が見える場合、検出されたボディパーツがそれぞれのポーズを形成するためにどのように関連付けられるべきかを推論できるアルゴリズムを使用する必要があります。一方、単一の対象があるデータの場合、各ボディパーツの位置を検出するだけで、それらが個別の個体に属していることがわかります。

SLEAPは、使いやすくアクセス可能にするために多くの作業を行っています。そのため、技術的なバックグラウンドを持たない高校生からAIのバックグラウンドを持たない専門の生物学研究科学者まで、さまざまな人々がSLEAPを使用しています。

これを可能にするために、SLEAPはTensorFlow、attrs、PySide2などの業界基準のソフトウェアエンジニアリングプラクティスと、オープンソースの科学計算ソフトウェアを組み合わせています。

SLEAPツールが動物行動研究でどのように使用されるか、具体的な例を教えていただけますか？

SLEAPは、多数の動物研究で使用され、興味のある行動の定量的な指標を抽出するために使用されています。

• Mills et al.（2023）では、SLEAPがマウスの社会行動を特徴付けるために使用され、感覚刺激が「良い」と「悪い」のどちらとして解釈されるかを神経回路がどのように決定するかを研究しています。
• Mabuchi et al.（2023）では、SLEAPが求愛行動を定量化するために使用され、果実バエが視覚情報を使用して社会的な文脈で自身の動きを制御する方法を理解しようとしています。
• Legan et al.（2022）では、SLEAPが用いられ、アグレッシブな出会いの後に紙蜂がより「警戒的」な状態に移行する方法を研究しています。
• Leonardis et al.（2022）では、SLEAPが使用され、社会的相互作用の基盤に関する研究で「ロボットネズミ」との相互作用を行うラットの動きを測定しています。
• Gutierrez-Castellanos et al.（2023）では、SLEAPが使用され、生殖周期ホルモンに影響を受ける神経回路を研究する文脈で雌マウスの「拒絶」行動を定量化しています。

これらは、SLEAPが使用されている応用範囲、科学的な問題、および種の多様性を強調するための最近の例の一部です。

SLEAPツールは疾患予測や気候緩和の取り組みにどのように貢献していますか？

Salkに参加して以来、私の研究室はモーションキャプチャデータを生物学に関する洞察に変換する方法に焦点を当てています。

疾患予測のために、私たちはいくつかの共同研究者と協力して、疾患の発症と進行の予測に役立つかもしれないフェノタイプを自動的に抽出するための解析パイプラインを開発しています。たとえば、運動協調性の喪失と最終的には死に至る神経変性疾患である筋萎縮性側索硬化症（ALS）と関連する行動の変化を測定したパイロット研究では、完全に自動化された方法で標準のホームケージ環境で生活している訓練されていないマウスにおいて、疾患の明確な定量的なマーカーを検出できることが分かりました。現在、この疾患および膵臓癌、アルツハイマー病などの他の疾患の異なる段階に関連するすべての行動の完全な特性を構築するための取り組みを行っています。

サルクのユニークな学際的環境によって可能になったもう一つの応用領域は、気候変動に対する植物生物学です。サルクはハーネッシング・プラント・イニシアチブの本拠地であり、作物の根がより深く、より大きな根を持つように開発することで、土壌中で二酸化炭素が植物物質に変換される過程で、より強力な炭素隔離が行われるようにするための、複数のグループによる取り組みを行っています。植物の根の発達に関する生物学的な知識は多くありますが、根系構造を定量的に特徴づけるためのより自動化された信頼性の高い手法が必要でした。私たちはこれらのデータにSLEAPを適用し、枝分かれ角や根の深さなどの有意義な特徴を抽出するためのツールの開発に取り組んでいます。これらの特徴は、より強力な炭素隔離能力を持つ植物を特徴づけるために使用することができます。

先を見据えて…

将来、AIを使ったがんやALSの診断にどのように活用することを想像していますか？

あなたの体の微妙な変化や統計的に定義された変化が病気と関連しているかどうかについてより良い理解をするにつれて、私たちはSLEAPで使用しているAIの同じタイプを使って、がんやALSなどの病気を人間で診断することを希望しています。これは頼りになる診断ツールとして使用するためには、重要な臨床的検証が必要ですが、ビデオの記録が容易で安価であることを考えると、いつの日か、スマートフォンで記録できるビデオから病気の行動的な特徴を抽出することができるようになることを望んでいます。正しく行われれば、これによって医療システムへの負担が大幅に軽減され、より早期のスクリーニングと治療しやすい病気の予防が可能になるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!