「グラフとネットワーク上の表現学習」

Graph and Network Representation Learning

注：ドクター・ペタル・ヴェリチコヴィッチはODSC West 2023の講演者です。彼の講演「グラフとネットワークの表現学習」もぜひチェックしてください！

私のODSC Westでの講演の主な目的は、参加者がこの分野のキーポイントを理解し、関連する分野との関係を適切な文脈で位置づけ、グラフ表現学習を簡単にナビゲートし、活用し、貢献できるようにすることです。これは私が最近Current Opinion in Structured Biologyで発表したサーベイ論文に密接に続きます。

具体的には、私の講演では、深層学習研究の活気に満ちた領域であるグラフ表現学習を紹介します。つまり、グラフ上に存在するデータ（ノードがエッジで接続された相互に関連する構造）に対して機械学習モデルを構築することです。これらのモデルは一般的にグラフニューラルネットワークまたはGNNとして知られています。私たちが自然界から受け取るデータの主な形式であるグラフを研究する理由は非常に優れています。分子（化学結合によって接続された原子のグラフ）から脳の接続構造（シナプスによって接続されたニューロンのグラフ）まで、グラフは生物のすべてのレベルでの記述のための普遍的な言語です。同様に、交通ネットワーク（道路によって接続された交差点のグラフ）から社会ネットワーク（友情リンクによって接続されたユーザーのグラフ）まで、人間の関心のある多くの関連する人工的な構造は、グラフの観点で考えるのが最も適しています。

• 「Saturn 大規模な言語モデルおよびその他のニューラルネットワークのトレーニングへの新しいアプローチ」
• このAIニュースレターは、あなたが必要なすべてです＃63
• 大規模言語モデルの探索 -Part 1

ここ数年、科学的および産業グループの両方によって、この潜在能力は実現され、GNNは新しい有望な抗生物質の発見、Googleマップでの推定所要時間の提供、Pinterestでのコンテンツの推奨、Amazonでの製品の推奨、最新世代の機械学習ハードウェアであるTPUv5の設計に使用されています。さらに、GNNベースのシステムは、数学者が表現論の分野で新しいトップティアの予想を見つけるのに役立ちました。GNNの予測に何十億人もの人々が日常的に接触していると言っても過言ではありません。そのため、GNNの開発に直接貢献することを目指さなくても、GNNを研究することは価値のある追求である可能性があります。

さらに、私たちの推論と意思決定を駆動する認知プロセス自体が、ある意味でグラフ構造を持つ可能性が高いと言えるでしょう。つまり、Jay Wright Forresterの引用から言えば、「頭の中に知っている情報のすべてを想像する人は誰もいません。むしろ、選択された概念とそれらの間の関係だけを想像し、それらを実際のシステムを表現するために使用する」ということです。もし私たちがこの認識の解釈に同意するならば、グラフ表現学習に依存する要素なしに一般的に知能のあるシステムを構築することはかなり不可能です。これは、最近の優れたMLシステムの多くがTransformerアーキテクチャに基づいているという事実と衝突しないことに注意してください。この講演で明らかになるように、Transformer自体がGNNの特殊なケースであることがわかります。

著者/ODSC Westの講演者について：

ペタル・ヴェリチコヴィッチはGoogle DeepMindのスタッフ研究科学者であり、ケンブリッジ大学のアフィリエイト講師、およびクレア・ホールのアソシエイトです。ペタルはケンブリッジ大学（トリニティ・カレッジ）でピエトロ・リオの指導の下でコンピュータサイエンスの博士号を取得しました。彼の研究は幾何学的深層学習に関するものであり、データの不変性と対称性を尊重するニューラルネットワークアーキテクチャの開発に取り組んでいます（私も共著者としてその原稿を書いています）。ペタルの研究は、Googleマップでの所要時間の予測の大幅な改善や、数学者の直感を新しいトップティアの定理や予想に導いたりするために使用されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!