「アドベクティブ拡散トランスフォーマーによる位相一般化」というタイトルです

「美容とファッションの世界における魅力的な広がりと変容―『アドベクティブ拡散トランスフォーマーによる位相一般化』」

GNNにおけるトポロジカルな一般化

グラフ・ニューラルネットワーク(GNN)の研究における重要なオープンな問題の一つは、特にグラフのトポロジーの変化に対して、GNNの一般化能力です。この記事では、GNNと密接に関連しているグラフ拡散方程式の視点から、GNNのダイナミクス、表現力、アーキテクチャの選択を分析するためのフレームワークとして使用されてきた過去の研究を通じて、この問題を研究します。私たちは、メッセージパッシングニューラルネットワーク(MPNN)とトランスフォーマーの計算構造を組み合わせた、アドベクティブ拡散に基づく新しいアーキテクチャを説明し、優れたトポロジカルな一般化能力を示します。

画像:Unsplash

この記事はQitian WuChenxiao Yangとの共著であり、Q. Wuらによる論文「グラフ学習におけるトポロジカルな一般化のためのアドベクティブ拡散トランスフォーマー」(2023)arXiv:2310.06417に基づいています。

グラフ・ニューラルネットワーク(GNN)は、過去10年間でグラフ構造データ上の機械学習のための人気のあるアーキテクチャとして登場しました。これには、ソーシャルネットワークや生命科学薬品食品デザインなど、さまざまな応用があります。

GNNに関する2つの重要な理論的な問題は、表現力と一般化能力です。前者の問題は、グラフ同型性テストのバリアントによって広く取り上げられてきました[1]。そして最近では[GNNを離散化された拡散型方程式として定式化することで、これも対処されています[2]。しかし、二番目の問題は、最近の多くのアプローチ[3-4]にもかかわらず、まだほとんど解明されていません。

実証的には、GNNはしばしばトレーニングデータとテストデータが異なる分布から生成される場合(いわゆる「分布のシフト」)、特にグラフのトポロジーが変化する場合(「トポロジーのシフト」)において、性能が低いと報告されています[5-7]。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more