DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

DeepMindの新しいAI研究では、有向グラフに対する敏感な位置符号化を提案しています

トランスフォーマーモデルは最近、非常に人気が高まっています。これらのニューラルネットワークモデルは、文の中の単語などの連続的な入力の関係を追跡し、文脈と意味を学習します。OpenAIが提案したGPT 3.5やGPT 4などのモデルの導入により、人工知能およびディープラーニングの分野は大きく前進し、話題となっています。競技プログラミング、対話型質問応答、組み合わせ最適化問題、グラフ学習タスクなど、すべての分野でトランスフォーマーモデルが重要なコンポーネントとして使用されています。

トランスフォーマーモデルは競技プログラミングでテキストの説明から解を生成するために使用されます。有名なチャットボットであるChatGPTは、GPTベースのモデルであり、人気のある対話型質問応答モデルの最良の例です。トランスフォーマーモデルは、巡回セールスマン問題などの組み合わせ最適化問題の解決にも使用され、特に分子の特性を予測する際にはグラフ学習タスクで成功しています。

トランスフォーマーモデルは、画像、音声、ビデオ、無向グラフなどのモダリティで非常に優れた柔軟性を示していますが、有向グラフのためのトランスフォーマーはまだ注目されていません。このギャップに対処するため、研究チームは有向グラフに特化した2つの方向および構造を考慮した位置エンコーディングを提案しました。コンビネーショナル・ラプラシアンの方向に対応した拡張であるマグネティック・ラプラシアンは、最初に提案された位置エンコーディングの基盤となります。提供された固有ベクトルは、グラフのエッジの方向性を考慮しながら重要な構造情報を捉えます。これらの固有ベクトルを位置エンコーディング手法に組み込むことで、トランスフォーマーモデルはグラフの方向性により認識能力を高め、有向グラフにおける意味と依存関係を成功裏に表現することができます。

方向性を考慮したランダムウォークエンコーディングは、提案された2番目の位置エンコーディング技術です。ランダムウォークは、モデルがグラフ内の方向構造についてより詳しく学習するための一般的な手法であり、ウォーク情報を位置エンコーディングに組み込みます。グラフ内のリンクと情報の流れをモデルが理解するのに役立つため、この知識はさまざまな下流の活動で使用されます。

研究チームは、方向および構造を考慮した位置エンコーディングがさまざまな下流のタスクで優れたパフォーマンスを発揮したことを実証しています。これらのタスクの1つであるソートネットワークの正当性テストでは、特定の操作が実際にソートネットワークを構成するかどうかを判断する必要があります。提案されたモデルは、ソートネットワークのグラフ表現における方向性情報を利用することで、Open Graph Benchmark Code2による測定で従来の最先端手法を14.7%上回る性能を発揮します。

研究チームは、以下のように貢献をまとめています:

  1. トランスフォーマーで一般的に使用される正弦波位置エンコーディングとラプラシアンの固有ベクトルとの明確な関係が確立されました。
  1. 研究チームは、方向性情報を位置エンコーディングに組み込む方法を提供する、有向グラフに拡張されたスペクトル位置エンコーディングを提案しました。
  1. ランダムウォーク位置エンコーディングが有向グラフに拡張され、モデルがグラフの方向性構造を捉えることが可能になりました。
  1. 研究チームは、構造を考慮した位置エンコーディングがさまざまなグラフ距離の予測性を評価し、その効果を示しました。彼らは、ソートネットワークの正当性を予測するタスクを紹介し、このアプリケーションにおける方向性の重要性を示しました。
  1. 研究チームは、プログラム文のシーケンスを有向グラフとして表現し、ソースコードのための新しいグラフ構築方法を提案し、予測性能と堅牢性を向上させました。
  1. OGB Code2データセットにおいて、特に関数名の予測において新たな最先端のパフォーマンスを実現し、F1スコアが2.85%高く、相対的な改善率が14.7%となりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

人工知能

タイム100 AI:最も影響力のあるもの?

『タイム誌が、Time 100 AIリストを発表しましたこのリストは、リーダーやイノベーターなどのカテゴリーで、AIの100人の重要...

データサイエンス

Salesforceは、データ駆動型のAIとCRMを通じて生産性と顧客の信頼性を高める、新しいEinstein 1プラットフォームを発表しました

顧客データは混乱しています。組織は通常、1,061の独自のアプリケーションを使用していますが、そのうちの29%しか本当に統合...

機械学習

「AIがクリーンエネルギーの未来を支える方法」

人工知能は、最先端の技術と共に太陽と風の力を利用して世界を改善しています。 I AM AI ビデオシリーズの最新エピソードでは...

機械学習

Amazon ComprehendとLangChainを使用して、生成型AIアプリケーションの信頼性と安全性を構築しましょう

私たちは、産業全体で生成型AIアプリケーションを動かすための大規模言語モデル(LLM)の活用が急速に増加していることを目撃...

データサイエンス

HTMLの要約:IIoTデータのプライバシー保護のためのGANとDPのハイブリッドアプローチ

匿名化は、産業用インターネット・オブ・シングス(IIoT)データの取り扱いにおいて重要な問題です。機械学習(ML)アプリケ...

機械学習

「マイクロソフトが、自社の新しい人工知能搭載スマートバックパックに関する特許を申請」

スマートデバイスと人工知能によって支配される世界において、2023年5月にマイクロソフトが出願した特許が注目と好奇心をかき...