ITUデンマークの研究者は、神経発達プログラムを紹介：生物の成長と人工ニューラルネットワークとの間のギャップを埋める

ITUデンマークの研究者が神経発達プログラムを提案：生物の成長と人工ニューラルネットワークの間のギャップを埋める方法

人間の脳は非常に複雑な器官であり、しばしば既知の宇宙において最も複雑で洗練されたシステムの1つと考えられています。脳は階層的に構成され、下位レベルの感覚処理領域が情報を上位レベルの認知と意思決定の領域に送信します。この階層化により、知識と複雑な行動の統合が可能になります。脳は情報を並列処理し、さまざまな知覚、認知、運動制御の側面に同時に取り組むさまざまな領域とネットワークが同時に作業することで、その効率性と適応性を高めています。

この階層化の組織と並列処理の技術を深層学習に適用することはできるのでしょうか？はい、その研究分野はニューラルネットワークと呼ばれています。コペンハーゲン大学の研究者たちは、各ニューロンで実行されるもう1つのネットワークによってポリシーネットワークの成長が制御されるグラフニューラルネットワーク型のエンコーディングを提案しています。これは Neural Developmental Program (NDP) と呼ばれています。

生物学的なプロセスの一部では、コンパクトな遺伝子型をより大きな表現型にマッピングすることがあります。これに着想を得て、研究者たちは間接エンコーディング方法を構築しました。間接エンコーディングでは、解決策の説明が圧縮されます。これにより情報を再利用でき、最終的な解決策には説明自体よりも多くのコンポーネントが含まれます。ただし、これらのエンコーディング（特に間接エンコーディングファミリー）は開発される必要があります。

• 「Google DeepMindの研究者が『プロンプトブリーダー』を紹介：与えられたドメイン内で自己言及的かつ自己向上型AIシステムで、効果的なドメイン固有のプロンプトを自動的に進化させることができます」というものです
• 「地震をAIで把握する：研究者が深層学習モデルを公開、予測の精度を向上」
• 「MITの研究者がPFGM++を紹介：物理学とAIの画期的な融合による高度なパターン生成」

NDPアーキテクチャには、マルチレイヤーパーセプトロン（MLP）とグラフセルラーオートマトン（GNCA）が含まれています。これは発達段階の各メッセージパッシングステップ後にノードの埋め込みを更新します。一般的に、セルオートマトンはいくつかの状態のうちの1つでグリッド上のセルから構成される数学モデルです。これらのオートマトンは、セルの状態が時間の経過とともにどのように変化するかを決定する一連のルールに基づいて離散的な時間ステップで進化します。

NDPでは、同じモデルがすべてに適用されます。したがって、操作されるグラフのサイズに関してパラメータの数は一定です。これにより、NDPは任意のサイズやアーキテクチャのニューラルネットワーク上で作業することができる利点があります。NDPニューラルネットワークは、任意の目的関数を満たすために任意のブラックボックス最適化アルゴリズムでトレーニングすることもできます。これにより、ニューラルネットワークは強化学習や分類タスクを解決し、トポロジカルな特性を示すことができます。

研究者たちは、異なる可能性の成長ステップ数でトレーニングされたモデルを比較して、微分可能なNDPを評価しようとしました。ほとんどのタスクでは、成長ステップ数が一定の値を超えると、ネットワークのパフォーマンスが低下することが観察されました。これは、新しいモードがネットワーク内でより大きくなったためです。ステップの成長を停止するタイミングを自動的に知るためには、自動化された方法が必要です。彼らはこれがNDPへの重要な追加になると述べています。また、将来的にはNDPに対して活動依存性と報酬調整型の成長と適応技術を組み込む予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!