Google AIのAdaTapeは、Transformerベースのアーキテクチャを持つ新しいAIアプローチです

Google AIのAdaTapeは、Transformerベースの新しいAIアプローチです

先週のブログ投稿で、Google Researchは新しいAIアプローチであるAdaTapeを紹介しました。これは、適応計算を利用するトランスフォーマベースのアーキテクチャを採用しています。AdaTapeは、適応関数を使用して、計算予算を調整できる弾力性のある入力シーケンスを作成します。

付属の研究論文によると、AdaTapeはモデルの深さではなく、入力シーケンスに適応性を直接注入します。また、適応的なテープ読み取りメカニズムも使用します。これは、入力の複雑さに基づいて追加されるさまざまなテープトークンを決定するためです。

ブログでは、AdaTapeが各入力を表すためにベクトル表現を使用し、可変サイズのテープトークンのシーケンスを動的に選択することも言及されています。Google Researchのチームは、AdaTapeがすべての候補テープトークンを保存するために「テープブランク」と呼ばれるものを作成すると述べています。

• カーネル密度推定器のステップバイステップの説明
• 「ウェブマップを使用した空間データの表示」
• 新しいタンパク質設計のためのディープラーニング

テープバンクを作成するために、研究者たちは2つの方法を使用しました。1つ目は入力駆動型バンクです。これは、元のモデルトークナイザーとは異なるアプローチを使用して、入力からトークンのバンクを抽出します。

2つ目は学習可能なバンクです。これは、学習可能なベクトルセットをテープトークンとして使用して、テープバンクを生成するより一般的な方法です。これらの手順がすべて完了したら、生成されたテープトークンは元の入力と連結され、トランスフォーマに送られます。

次に、2つの順伝播ネットワークが使用されます。1つは元の入力用で、もう1つはすべてのテープトークン用です。研究者たちは、入力とテープトークンのために別々の順伝播ネットワークを使用することで、わずかに優れた品質が得られることを観察しました。

Googleのチームは、AdaTapeが入力選択メカニズムで再帰を組み込んだすべてのベースラインを上回ることを発見しました。また、AdaTapeを画像分類タスクで評価しました。テスト中、AdaTapeはImageNet-1Kでテストされました。品質とコストのトレードオフの観点から、AdaTapeは代替の適応型トランスフォーマーベースラインよりも優れた性能を示しました。

Googleの結論によると、AdaTapeは標準のトランスフォーマーや既存の適応型トランスフォーマーにとっても難しいタスクを解決する潜在能力を持っているとのことです。詳細については、こちらの論文とGoogleの投稿をご覧ください。

編集者の注意：もしトランスフォーマーや大規模な言語モデル、AIに興味があるなら、ODSC West 2023を見逃さないでください。リーディングエキスパートから学びましょう。サンフランシスコへの訪問やオンライン参加のパスをゲットしましょう！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!