「ULTRAに会おう：あらゆるグラフで機能する事前学習済みの知識グラフ推論用基礎モデルで、50以上のグラフで教師あり最先端モデルを上回るパフォーマンスを発揮します」

「ULTRAに逢いましょう：事前学習済みの知識グラフ推論用基礎モデルが、50以上のグラフにおいて教師あり最先端モデルを超越するパフォーマンスを発揮します」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-30-at-9.12.12-PM-1024×545.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/10/Screenshot-2023-10-30-at-9.12.12-PM-150×150.png”/><p>ULTRAは、知識グラフ（KG）のための普遍的で転移可能なグラフ表現を学習するために設計されたモデルです。 ULTRAは、相互作用に基づいて関係イラストを作成し、異なるエンティティと関係の語彙を持つどのKGにも一般化できるようにします。事前学習されたULTRAモデルは、リンク予測の実験で新しいグラフに対して見事なゼロショット帰納推論を示し、しばしば専門的なベースラインを上回ります。

<p>さまざまな研究所の研究者が、普遍的推論が可能なKGの基礎的なモデルを作成するという課題に取り組んでいます。 ULTRAは、テキスト情報に依存せずに多目的なグラフ表現を学習するモデルを提案しています。彼らの研究では、テキストベースの手法とULTRAの違いについて論じ、新しいエンティティを持つ推移的および帰納的なデータセットを含む実験で使用されるデータセットのタイプについて議論しています。 KGでのリンク予測の既存の帰納的手法については、それらの制約に焦点を当ててレビューしています。

<p>彼らの手法は、事前学習と微調整のパラダイムをKGに適用するチャレンジについて論じており、言語やビジョンなどのドメインで効果的な事前学習と微調整が可能な理由として、KGの異なるエンティティと関係の語彙を挙げています。 ULTRAは、異なる関係と構造を持つ新しいKGにゼロショット転送を可能にする、普遍的なグラフ表現を学習するアプローチです。 ULTRAは関係の相互作用を活用し、さまざまなサイズのKGおよび関係の語彙間での一般化を容易にし、KGの推論のための効果的な事前学習と微調整を実現することを目指しています。

<p>ULTRAは、エンティティと関係の語彙が異なるグラフ上の推論を可能にする、普遍的なグラフ表現を学習するために導入されています。グラフのリフト、クエリに基づく関係表現の取得、リンクの予測を実現するために、ULTRAは3つのステップのアルゴリズムを使用します。 57個のKGでULTRAのパフォーマンスを、専門化されたベースラインと比較して、ゼロショット帰納推論が優れています。微調整によりパフォーマンスが向上し、特定のグラフにトレーニングされたベースラインモデルと競合するか優れています。

• 「Amazon Bedrockへのプライベートアクセスを設定するために、AWS PrivateLinkを使用してください」
• 「Amazon SageMaker JumpStartを使用して、2行のコードでファウンデーションモデルを展開して微調整する」
• Pythonでの機械学習のためのテキストの前処理−自然言語処理

<p>普遍的なグラフ表現であるULTRAの提案された手法は、特定のグラフにトレーニングされたベースラインに比べ、ゼロショット推論で非常に優れたパフォーマンスを発揮します。事前学習とベースラインの結果との間のギャップを効果的に縮小する微調整により、ULTRAのパフォーマンスをさらに向上させることができます。 ULTRAは、FB-25およびFB-50でほぼ3倍のパフォーマンス向上を達成し、より小規模な帰納的グラフでの優れた性能を示します。評価指標にはMRRとH10が含まれており、全エンティティセットについて報告されています。

<p>まとめとして、ULTRAは、入力特徴を必要とせずに多様な多関係グラフ上でのトレーニングと推論に優れた普遍的で転送可能なグラフ表現を提供します。 ゼロショットシナリオでも、特定のグラフに合わせた監視型ベースラインを平均で15以上も上回す性能を発揮します。 ULTRAは、新しい関係構造を持つ未知のグラフに一般化できる能力により、帰納的および転送可能な知識グラフ推論の有望な選択肢となっています。 57のKGの評価では、特定のグラフにトレーニングされたベースラインと比較して、一貫して優れたパフォーマンスを示しています。

<p>将来の展望では、関係間の相互作用を捉えるための追加の戦略の探求を示唆しています。 50のランダムネガティブを持つHits10以外の包括的な評価指標の必要性が強調されています。 現在の研究では、KG表現学習のための転移学習の潜在的な利点の探求が奨励されており、これはまだ完全に探求されていません。 さらに、異なる関係セットを持つKGに一般化する帰納的学習手法の研究も推奨されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!