DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

DeepMindの新しいAI研究では、有向グラフに対する敏感な位置符号化を提案しています

トランスフォーマーモデルは最近、非常に人気が高まっています。これらのニューラルネットワークモデルは、文の中の単語などの連続的な入力の関係を追跡し、文脈と意味を学習します。OpenAIが提案したGPT 3.5やGPT 4などのモデルの導入により、人工知能およびディープラーニングの分野は大きく前進し、話題となっています。競技プログラミング、対話型質問応答、組み合わせ最適化問題、グラフ学習タスクなど、すべての分野でトランスフォーマーモデルが重要なコンポーネントとして使用されています。

トランスフォーマーモデルは競技プログラミングでテキストの説明から解を生成するために使用されます。有名なチャットボットであるChatGPTは、GPTベースのモデルであり、人気のある対話型質問応答モデルの最良の例です。トランスフォーマーモデルは、巡回セールスマン問題などの組み合わせ最適化問題の解決にも使用され、特に分子の特性を予測する際にはグラフ学習タスクで成功しています。

トランスフォーマーモデルは、画像、音声、ビデオ、無向グラフなどのモダリティで非常に優れた柔軟性を示していますが、有向グラフのためのトランスフォーマーはまだ注目されていません。このギャップに対処するため、研究チームは有向グラフに特化した2つの方向および構造を考慮した位置エンコーディングを提案しました。コンビネーショナル・ラプラシアンの方向に対応した拡張であるマグネティック・ラプラシアンは、最初に提案された位置エンコーディングの基盤となります。提供された固有ベクトルは、グラフのエッジの方向性を考慮しながら重要な構造情報を捉えます。これらの固有ベクトルを位置エンコーディング手法に組み込むことで、トランスフォーマーモデルはグラフの方向性により認識能力を高め、有向グラフにおける意味と依存関係を成功裏に表現することができます。

方向性を考慮したランダムウォークエンコーディングは、提案された2番目の位置エンコーディング技術です。ランダムウォークは、モデルがグラフ内の方向構造についてより詳しく学習するための一般的な手法であり、ウォーク情報を位置エンコーディングに組み込みます。グラフ内のリンクと情報の流れをモデルが理解するのに役立つため、この知識はさまざまな下流の活動で使用されます。

研究チームは、方向および構造を考慮した位置エンコーディングがさまざまな下流のタスクで優れたパフォーマンスを発揮したことを実証しています。これらのタスクの1つであるソートネットワークの正当性テストでは、特定の操作が実際にソートネットワークを構成するかどうかを判断する必要があります。提案されたモデルは、ソートネットワークのグラフ表現における方向性情報を利用することで、Open Graph Benchmark Code2による測定で従来の最先端手法を14.7%上回る性能を発揮します。

研究チームは、以下のように貢献をまとめています:

  1. トランスフォーマーで一般的に使用される正弦波位置エンコーディングとラプラシアンの固有ベクトルとの明確な関係が確立されました。
  1. 研究チームは、方向性情報を位置エンコーディングに組み込む方法を提供する、有向グラフに拡張されたスペクトル位置エンコーディングを提案しました。
  1. ランダムウォーク位置エンコーディングが有向グラフに拡張され、モデルがグラフの方向性構造を捉えることが可能になりました。
  1. 研究チームは、構造を考慮した位置エンコーディングがさまざまなグラフ距離の予測性を評価し、その効果を示しました。彼らは、ソートネットワークの正当性を予測するタスクを紹介し、このアプリケーションにおける方向性の重要性を示しました。
  1. 研究チームは、プログラム文のシーケンスを有向グラフとして表現し、ソースコードのための新しいグラフ構築方法を提案し、予測性能と堅牢性を向上させました。
  1. OGB Code2データセットにおいて、特に関数名の予測において新たな最先端のパフォーマンスを実現し、F1スコアが2.85%高く、相対的な改善率が14.7%となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

データサイエンス

企業がOpenAIのChatGPTに類似した自社の大規模言語モデルを構築する方法

最近の数年間で、言語モデルは大きな注目を集め、自然言語処理、コンテンツ生成、仮想アシスタントなど、さまざまな分野を革...

AIニュース

「トップAIランダム顔生成アプリ(2023年)」

ランダムフェースジェネレーターは、最先端の画像処理技術を使用してランダムな顔を生成します。ビッグデータ技術によって、...

AI研究

天候の変化:AI、高速計算がより速く、効率的な予測を提供することを約束します

2050年までに、極端な天候や気候の頻度と厳しさが増すことにより、ミュンヘン再保険会社によれば、年間100万人の命が失われ、...

機械学習

「FC-CLIPによる全局セグメンテーションの革新:統一された単一段階人工知能AIフレームワーク」

イメージセグメンテーションは、画像を意味のある部分や領域に分割する基本的なコンピュータビジョンのタスクです。 それは、...

データサイエンス

レコメンドシステムの評価指標 — 概要

最近、レコメンデーションシステムのプロジェクトを実験している最中、様々な評価指標を使用することがありましたそのため、...

機械学習

「40以上のクールなAIツールをチェックアウトしましょう(2023年8月)」

DeepSwap DeepSwapは、説得力のあるディープフェイクのビデオや画像を作成したい人向けのAIベースのツールです。ビデオ、写真...