DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

DeepMindの新しいAI研究では、有向グラフに対する敏感な位置符号化を提案しています

トランスフォーマーモデルは最近、非常に人気が高まっています。これらのニューラルネットワークモデルは、文の中の単語などの連続的な入力の関係を追跡し、文脈と意味を学習します。OpenAIが提案したGPT 3.5やGPT 4などのモデルの導入により、人工知能およびディープラーニングの分野は大きく前進し、話題となっています。競技プログラミング、対話型質問応答、組み合わせ最適化問題、グラフ学習タスクなど、すべての分野でトランスフォーマーモデルが重要なコンポーネントとして使用されています。

トランスフォーマーモデルは競技プログラミングでテキストの説明から解を生成するために使用されます。有名なチャットボットであるChatGPTは、GPTベースのモデルであり、人気のある対話型質問応答モデルの最良の例です。トランスフォーマーモデルは、巡回セールスマン問題などの組み合わせ最適化問題の解決にも使用され、特に分子の特性を予測する際にはグラフ学習タスクで成功しています。

トランスフォーマーモデルは、画像、音声、ビデオ、無向グラフなどのモダリティで非常に優れた柔軟性を示していますが、有向グラフのためのトランスフォーマーはまだ注目されていません。このギャップに対処するため、研究チームは有向グラフに特化した2つの方向および構造を考慮した位置エンコーディングを提案しました。コンビネーショナル・ラプラシアンの方向に対応した拡張であるマグネティック・ラプラシアンは、最初に提案された位置エンコーディングの基盤となります。提供された固有ベクトルは、グラフのエッジの方向性を考慮しながら重要な構造情報を捉えます。これらの固有ベクトルを位置エンコーディング手法に組み込むことで、トランスフォーマーモデルはグラフの方向性により認識能力を高め、有向グラフにおける意味と依存関係を成功裏に表現することができます。

方向性を考慮したランダムウォークエンコーディングは、提案された2番目の位置エンコーディング技術です。ランダムウォークは、モデルがグラフ内の方向構造についてより詳しく学習するための一般的な手法であり、ウォーク情報を位置エンコーディングに組み込みます。グラフ内のリンクと情報の流れをモデルが理解するのに役立つため、この知識はさまざまな下流の活動で使用されます。

研究チームは、方向および構造を考慮した位置エンコーディングがさまざまな下流のタスクで優れたパフォーマンスを発揮したことを実証しています。これらのタスクの1つであるソートネットワークの正当性テストでは、特定の操作が実際にソートネットワークを構成するかどうかを判断する必要があります。提案されたモデルは、ソートネットワークのグラフ表現における方向性情報を利用することで、Open Graph Benchmark Code2による測定で従来の最先端手法を14.7%上回る性能を発揮します。

研究チームは、以下のように貢献をまとめています:

  1. トランスフォーマーで一般的に使用される正弦波位置エンコーディングとラプラシアンの固有ベクトルとの明確な関係が確立されました。
  1. 研究チームは、方向性情報を位置エンコーディングに組み込む方法を提供する、有向グラフに拡張されたスペクトル位置エンコーディングを提案しました。
  1. ランダムウォーク位置エンコーディングが有向グラフに拡張され、モデルがグラフの方向性構造を捉えることが可能になりました。
  1. 研究チームは、構造を考慮した位置エンコーディングがさまざまなグラフ距離の予測性を評価し、その効果を示しました。彼らは、ソートネットワークの正当性を予測するタスクを紹介し、このアプリケーションにおける方向性の重要性を示しました。
  1. 研究チームは、プログラム文のシーケンスを有向グラフとして表現し、ソースコードのための新しいグラフ構築方法を提案し、予測性能と堅牢性を向上させました。
  1. OGB Code2データセットにおいて、特に関数名の予測において新たな最先端のパフォーマンスを実現し、F1スコアが2.85%高く、相対的な改善率が14.7%となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

データサイエンス

「Pythonにおけるサンプリング技術と比較の実践」

私は妻と一緒にクリスマスツリーを組み立てていました私たちは地下室に行って、木を持ち上げて階上に運び、下から上に向かっ...

データサイエンス

AlluxioがAI最適化されたデータプラットフォームを発表し、より高速なMLパイプラインを提供します

「AIイニシアチブの価値実現を加速させるために、AIと機械学習のワークロードのフルポテンシャルを引き出す簡素化されたデー...

コンピュータサイエンス

数値計算のための二分法の使用方法

コンピュータ科学と数学のサブフィールドである数値計算は、コンピュータを用いた数値計算手法とアルゴリズムを用いて数学の...

データサイエンス

「データサイエンスの熱狂者にとっての必聴ポッドキャスト10選」

はじめに データがイノベーションの源泉となる時代において、最新情報を把握することは非常に重要です。幸いなことに、データ...

コンピュータサイエンス

小さなオーディオ拡散:クラウドコンピューティングを必要としない波形拡散

2GB以下のVRAMを持つコンシューマーラップトップとGPUでオーディオ波形拡散を用いてモデルをトレーニングし、音を生成する方...

データサイエンス

「量子もつれ測定の革命:限られたデータで深層学習が従来の方法を上回る方法」

系統の量子もつれの程度は、系統のランダム性や量子もつれの係数など、さまざまな要素に依存します。この系統の特性は、機械...