Google AIがAdaTapeを導入：トランスフォーマーベースのアーキテクチャを持ち、適応的なテープトークンを通じてニューラルネットワークでの動的な計算を可能にする新しいAIアプローチ

Google AIがAdaTapeを導入：トランスフォーマーベースのアーキテクチャを持ち、ニューラルネットワークでの動的な計算を可能にする新しいAIアプローチ

人間は、さまざまな状況や条件に応じて思考や反応を適応させる能力を持っていますが、ニューラルネットワークは固定された関数と入力に制約されています。それらは提示されたサンプルの性質や複雑さに関わらず、常に同じ関数を実行します。

この問題に対処するため、研究者たちは適応性を利用しています。適応性は、機械学習システムがシナリオや環境の変化に応じて振る舞いを調整する能力を指します。このパラダイムは、これらのモデルの下流の使用に柔軟性を与えるだけでなく、一部の難しい問題を解決するための強力な帰納的なバイアスとしても機能します。

従来のニューラルネットワークは固定された関数と計算能力を持っていますが、適応的で動的な計算を行うモデルは、入力の複雑さに応じて処理に割り当てる計算予算を変調します。ニューラルネットワークでの適応的な計算は2つの理由で魅力的です。第一に、異なる深さの階層をモデル化する必要がある算術問題を解決する際に、異なる数の計算ステップを可能にする帰納的なバイアスを提供します。第二に、動的な計算によって柔軟性が増し、推論のコストを調整する能力を促進します。これらのモデルは新しい入力に対してより多くのFLOPを処理するように調整することができます。

• 「ZoomがAIトレーニングのために顧客データを使用することで法的ジレンマに直面」
• 「データサイエンティストのためのMakeとMakefileガイド」
• HashGNN Neo4j GDSの新しいノード埋め込みアルゴリズムに深く入り込む

その結果、Googleの研究者たちは、適応的な計算を利用する新しいモデル、AdaTapeを提案しました。AdaTapeは、モデルの深さではなく入力シーケンスに適応性を直接注入するため非常に実装が簡単であり、また非常に正確です。AdaTapeは、入力の複雑さに基づいて各入力に追加されるさまざまなテープトークンを決定するために適応的なテープ読み取りメカニズムを使用します。

AdaTapeは、トランスフォーマベースのアーキテクチャであり、弾力性のある入力シーケンスを作成するために動的なトークンのセットを使用します。AdaTapeは適応関数を使用し、各入力を表すベクトル表現を使用して動的なサイズのテープトークンのシーケンスを選択します。

AdaTapeは「テープバンク」を使用して、モデルと相互作用するすべての候補テープトークンを保存します。テープバンクは、入力駆動型バンク（入力駆動型バンクは、生の入力を入力トークンのシーケンスにマッピングするために元のモデルトークナイザーとは異なるアプローチを使用して、入力からトークンのバンクを抽出します）と学習可能なバンク（学習可能なベクトルのセットをテープトークンとして使用してテープバンクを生成するより一般的な方法）の2つの異なる方法を使用して作成されます。

その後、テープトークンは元の入力に追加され、トランスフォーマに送られます。そして、2つのフィードフォワードネットワークが使用されます。1つは元の入力用で、もう1つはすべてのテープトークン用です。研究者たちは、入力とテープトークンに対して別々のフィードフォワードネットワークを使用することで、やや良い品質が得られることを観察しました。

研究者たちは、AdaTapeの有用性を多くのパラメータでテストしました。彼らは、入力選択メカニズム内での再帰を組み込んだすべてのベースラインを凌駕し、標準のトランスフォーマでは不可能なカウンタの暗黙の維持を可能にする帰納的なバイアスを提供することが分かりました。研究者たちはまた、AdaTapeを画像分類タスクで評価しました。彼らはImageNet-1KでAdaTapeをテストし、品質とコストのトレードオフの点で、AdaTapeが他の適応型トランスフォーマベースラインよりも優れていることが分かりました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!