「今日、何を見たと思う？このAIモデルは、あなたの脳の信号を解読して、あなたが見たものを再構築するんだよ」

このAIモデルは、脳の信号を解読し、見たものを再構築するんだよ

脳 。人体の最も魅力的な器官です。それがどのように機能するかを理解することが、生命の秘密を解き明かす鍵です。私たちはどのように考え、感じ、嗅ぐ、感じ、行動するのでしょうか？これらのすべての質問の答えは、脳の働きを理解することにあります。

私たちが見るものに対する脳の反応を理解することは、高度な計算認知システムの開発につながる可能性があるため、研究の注目を集めています。機能的磁気共鳴画像法（fMRI）や脳波測定（EEG）などの高度なツールがあるため、科学者は視覚刺激によって引き起こされる脳活動を記録することができます。これにより、人間の脳がこれらの刺激に対してどのような反応を示すのかを解読し、再構築することへの関心が高まっています。

人間の視覚知覚を研究する一般的なアプローチの1つは、被験者が実験中に見た画像やビデオを再構築することです。これは主にfMRIデータに基づいた計算手法、特に深層ニューラルネットワークを使用して行われます。しかし、fMRIデータの収集は費用がかかり、実用的な使用には不便です。つまり、もしMRI装置に入ったことがあるなら、おそらくそこにいることがどれほど不快かを知っているでしょう。誰もが喜んでそうした実験に参加することはありません。

• 『DiffBIRを紹介：事前学習済みのテキストから画像への拡散モデルを使用して、盲目的な画像修復問題に対処するAIアプローチ』
• 「機械学習リスク管理のための文化的な能力」
• 「大規模言語モデルを改善するための簡単な方法3つ」

ここでEEGが登場します。EEGは、被験者がさまざまな刺激を見る間に脳信号を記録し、分析するより効率的な方法ですが、独自の課題もあります。EEG信号は時系列データであり、静止画像とは非常に異なります。これにより、刺激と対応する脳信号の一部をマッチングすることが困難になります。また、電極の誤配置や身体の動きなどの問題により、データに重大なノイズが生じる可能性があります。単純にEEGの入力を画素にマッピングして画像を再構築すると、品質の低い結果が得られます。

一方、拡散モデルは生成モデリングの最先端アプローチとして登場しています。これらは画像合成やビデオ生成を含むさまざまなタスクに成功裏に応用されています。強力な事前学練習オートエンコーダの潜在空間で操作することにより、研究者はピクセル空間評価の制約を克服し、高速な推論を可能にし、トレーニングコストを削減しています。

では、NeuroImageGenと出会いましょう。これは拡散モデルの力を使ってこの問題に取り組むパイプラインです。

NeuroImageGenは、EEG信号を使用した神経画像生成のためのパイプラインです。これは、EEGベースの画像再構築に関連する課題に取り組むために、マルチレベルの意味抽出モジュールを組み込んでいます。このモジュールは、EEG信号からサンプルレベルの意味から画素レベルの詳細（例：顕著性マップ）まで、さまざまなレベルの意味情報をデコードします。これらのマルチレベルの出力は、事前学習済みの拡散モデルに供給され、さまざまな意味レベルでの生成プロセスを効果的に制御します。

EEG信号はノイズの影響を受けやすい複雑な時系列データであり、取り扱いが難しいです。 NeuroImageGenは、ピクセルレベルの意味情報とサンプルレベルの情報の両方を含むマルチレベルの意味情報を抽出することによって、これを克服します。ピクセルレベルの意味情報は、EEG特徴から生成される顕著性マップとして表されます。一方、サンプルレベルの意味情報は、画像のカテゴリやテキストキャプションを認識するなど、より粗い粒度の理解を提供します。このマルチレベルのアプローチにより、NeuroImageGenはノイズの多いEEGデータを効果的に処理し、高品質の視覚刺激再構築を可能にします。

NeuroImageGenは、これらのマルチレベルの意味情報を潜在的な拡散モデルに統合して画像を再構築します。EEG特徴から生成される顕著性マップとして表されるピクセルレベルの意味情報は、初期画像として使用されます。画像キャプションのCLIPモデルの埋め込みから導かれるサンプルレベルの意味情報は、拡散モデルにおけるノイズ除去プロセスをガイドします。この統合により、再構築された視覚刺激は、細かい粒度と粗い粒度の情報を効果的に組み合わせて高品質の画像を生成します。

この手法の結果は有望であり、EEGデータにおいて従来の画像再構成手法を凌駕しています。NEUROIMAGENは再構成された画像の構造的な類似性と意味的な正確性を大幅に向上させ、視覚刺激が人間の脳に与える影響を理解するための改善をもたらしています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!