「MITとハーバードの研究者は、脳内の生物学的な要素を使ってトランスフォーマーを作る方法を説明する可能性のある仮説を提出しました」

MIT and Harvard researchers propose a hypothesis that could explain how to create a transformer using biological elements in the brain.

I had trouble accessing your link so I’m going to try to continue without it.

人工ニューラルネットワークは、機械学習においてさまざまなタスクに訓練されることができる普及したモデルであり、その構造的な類似性から、人間の脳内の生物学的なニューロンの情報処理方法に名前を由来しています。人間の脳の働きが彼らをインスパイアしています。

トランスフォーマーは、人工知能アーキテクチャの特異なカテゴリであることから、機械学習の領域に深い影響を与え、計算神経科学の領域にも徐々に浸透しています。これらの革命的なモデルは、驚異的な人間のような正確さでプロンプトからテキストを生成する能力を持つことによって、類を見ないパフォーマンスを達成する非凡な能力を示しています。ChatGPTやBardなどの主要なAIフレームワークは、トランスフォーマーを基盤として構築されています。

• Google DeepMindの研究者は、機能を維持しながら、トランスフォーマーベースのニューラルネットワークのサイズを段階的に増やすための6つの組み合わせ可能な変換を提案しています
• 「LangChainとGPT-4を使用した多言語対応のFEMAディザスターボットの研究」
• コンピュータ科学の研究者たちは、モジュラーで柔軟なロボットを作りました

最近、MIT、MIT-IBM Watson AI Lab、およびハーバード医学大学の研究者たちの共同研究により、脳内に存在する生物学的な構成要素を使用してトランスフォーマーを構築する可能性についての仮説が提案されました。彼らの提案は、ニューロンと呼ばれる他の重要な脳細胞である星状細胞とともにニューロンからなる生物学的なネットワークが、トランスフォーマーアーキテクチャによって実行される基本的な計算を実行できる可能性があるという概念を中心に展開されています。

研究グループは、脳内で星状細胞が実行する認知機能についての詳細な計算的な調査を行いました。彼らの努力はまた、星状細胞とニューロンの間の協力的な相互作用を正確に示す洗練された数学的なフレームワークの開発にもつながりました。このフレームワークは、脳の複雑な生物学的プロセスを忠実に模倣するための設計の青写真として機能します。

研究者たちは、モデル間の対応を確立し、共有の重みを使用して包括的な洞察を確保するために、モデルのシナリオを提示しました。彼らはまた、生物学的な文脈でトランスフォーマーを実装するための非星状細胞的なアプローチも開発しました。

彼らの調査の中心には、星状細胞、プレシナプスニューロン、ポストシナプスニューロンの三方性シナプスがあります。研究者たちは、これらの三方性シナプスがトランスフォーマーモデルの自己注意メカニズム内で正規化タスクを実行する上で重要な役割を果たす可能性があると強調しました。

彼らは、トランスフォーマーに固有の基本的な数学的要素を使用し、脳のコミュニケーション中に星状細胞とニューロンの間で行われる相互作用を示す簡単な生物物理学的モデルを構築しました。このプロセスは、既存の文献の広範な探索に基づき、共同して研究する神経科学者から提供される洞察にも恩恵を受けました。これらのモデルを巧みに組み合わせることで、彼らはトランスフォーマーの自己注意メカニズムを美しく捉えたニューロン-星状細胞ネットワーク方程式に到達しました。

研究者たちは現在、理論的な概念から実際の応用へと進んでいます。彼らの次の課題は、生物学的な実験で観察される結果に対してモデルの予測を検証することであり、これは彼らの仮説を洗練させるか、または挑戦する可能性のある重要な段階です。

彼らの研究からの興味深いアイデアの一つは、星状細胞が長期記憶における潜在的な役割です。この考えは、ネットワークが可能な将来の行動のために情報を効果的に保存する必要があるために生じます。これは、星状細胞がこの記憶プロセスに関与している可能性を示唆しています。

トランスフォーマーと脳の組み合わせの興味深い可能性は魅力的ですが、人間とトランスフォーマーの学習プロセスの重要な違いを認識することも重要です。トランスフォーマーはデータに対して飢えており、トレーニングには相当なエネルギーを要求します。一方、人間の脳は比較的控えめなエネルギーバジェットで機能し、普段のノートパソコンと同様です。言語スキルを開発するためには、巨大なインターネット規模のトレーニングデータセットは必要ありません。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!