DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

DeepMindの新しいAI研究では、有向グラフに対する敏感な位置符号化を提案しています

トランスフォーマーモデルは最近、非常に人気が高まっています。これらのニューラルネットワークモデルは、文の中の単語などの連続的な入力の関係を追跡し、文脈と意味を学習します。OpenAIが提案したGPT 3.5やGPT 4などのモデルの導入により、人工知能およびディープラーニングの分野は大きく前進し、話題となっています。競技プログラミング、対話型質問応答、組み合わせ最適化問題、グラフ学習タスクなど、すべての分野でトランスフォーマーモデルが重要なコンポーネントとして使用されています。

トランスフォーマーモデルは競技プログラミングでテキストの説明から解を生成するために使用されます。有名なチャットボットであるChatGPTは、GPTベースのモデルであり、人気のある対話型質問応答モデルの最良の例です。トランスフォーマーモデルは、巡回セールスマン問題などの組み合わせ最適化問題の解決にも使用され、特に分子の特性を予測する際にはグラフ学習タスクで成功しています。

トランスフォーマーモデルは、画像、音声、ビデオ、無向グラフなどのモダリティで非常に優れた柔軟性を示していますが、有向グラフのためのトランスフォーマーはまだ注目されていません。このギャップに対処するため、研究チームは有向グラフに特化した2つの方向および構造を考慮した位置エンコーディングを提案しました。コンビネーショナル・ラプラシアンの方向に対応した拡張であるマグネティック・ラプラシアンは、最初に提案された位置エンコーディングの基盤となります。提供された固有ベクトルは、グラフのエッジの方向性を考慮しながら重要な構造情報を捉えます。これらの固有ベクトルを位置エンコーディング手法に組み込むことで、トランスフォーマーモデルはグラフの方向性により認識能力を高め、有向グラフにおける意味と依存関係を成功裏に表現することができます。

方向性を考慮したランダムウォークエンコーディングは、提案された2番目の位置エンコーディング技術です。ランダムウォークは、モデルがグラフ内の方向構造についてより詳しく学習するための一般的な手法であり、ウォーク情報を位置エンコーディングに組み込みます。グラフ内のリンクと情報の流れをモデルが理解するのに役立つため、この知識はさまざまな下流の活動で使用されます。

研究チームは、方向および構造を考慮した位置エンコーディングがさまざまな下流のタスクで優れたパフォーマンスを発揮したことを実証しています。これらのタスクの1つであるソートネットワークの正当性テストでは、特定の操作が実際にソートネットワークを構成するかどうかを判断する必要があります。提案されたモデルは、ソートネットワークのグラフ表現における方向性情報を利用することで、Open Graph Benchmark Code2による測定で従来の最先端手法を14.7%上回る性能を発揮します。

研究チームは、以下のように貢献をまとめています:

  1. トランスフォーマーで一般的に使用される正弦波位置エンコーディングとラプラシアンの固有ベクトルとの明確な関係が確立されました。
  1. 研究チームは、方向性情報を位置エンコーディングに組み込む方法を提供する、有向グラフに拡張されたスペクトル位置エンコーディングを提案しました。
  1. ランダムウォーク位置エンコーディングが有向グラフに拡張され、モデルがグラフの方向性構造を捉えることが可能になりました。
  1. 研究チームは、構造を考慮した位置エンコーディングがさまざまなグラフ距離の予測性を評価し、その効果を示しました。彼らは、ソートネットワークの正当性を予測するタスクを紹介し、このアプリケーションにおける方向性の重要性を示しました。
  1. 研究チームは、プログラム文のシーケンスを有向グラフとして表現し、ソースコードのための新しいグラフ構築方法を提案し、予測性能と堅牢性を向上させました。
  1. OGB Code2データセットにおいて、特に関数名の予測において新たな最先端のパフォーマンスを実現し、F1スコアが2.85%高く、相対的な改善率が14.7%となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

コンピュータサイエンス

「新しい攻撃が主要なAIチャットボットに影響を与え、誰もそれを止める方法を知りません」

研究者は、ChatGPT、Bard、および他のチャットボットが不正行為を行う簡単な方法を見つけ、AIは手に負えないことを証明しました

AIニュース

「アルゴリズムを使用して数千件の患者請求を不適切に拒否した」として、シグナが告発されました

連邦集団訴訟によれば、健康保険会社のCignaは、コンピュータアルゴリズムを使用して何十万もの患者の申し立てを自動的に拒否...

機械学習

「事前学習済みのテキストからイメージへの拡散モデルを用いたポイントクラウドの補完」

ポイントクラウドという言葉を聞いたことがありますか?それは、オブジェクトや環境のジオメトリと空間属性を記述する三次元...

AI研究

「UTオースティンの研究者が、LIBEROを導入:意思決定とロボット工学における知識移転を研究するためのライフロング・ロボット・ラーニング・ベンチマーク」

LIBEROは、宣言的および手続き的なドメインでの知識の転送に焦点を当てた、ロボット操作におけるライフロングラーニングの基...

AI研究

このAI研究は、DISC-MedLLMという包括的な解決策を提案し、大規模言語モデル(LLM)を活用して正確な医療応答を提供します

テレメディシンの台頭により、医療の提供方法が変わり、プロフェッショナルネットワークを広げ、価格を下げ、遠隔医療相談を...

機械学習

StableSRをご紹介します:事前トレーニング済み拡散モデルの力を活用した新たなAIスーパーレゾリューション手法

コンピュータビジョンの分野では、様々な画像合成タスクのための拡散モデルの開発において、重要な進展が見られています。以...