UC Berkeleyの研究者たちは、ディープラーニングにおいて効率的なデータ圧縮とスパース化を実現するための新しいホワイトボックストランスフォーマーであるCRATEを提案しています

「CRATE 新しいホワイトボックストランスフォーマーがディープラーニングにおける効率的なデータ圧縮とスパース化を実現」

最近、深層学習の実用的な成功は、高次元で多様なデータの処理とモデリングにおけるもので、指数関数的に成長しています。この成果の多くは、ディープネットワークがデータ内に圧縮可能な低次元構造を見つけ、それらの発見を経済的な、つまりコンパクトで構造化された表現に変換する能力に起因しています。このような表現は、ビジョン、分類、認識、セグメンテーション、生成など、後続の多くのタスクを容易にします。

整理された簡潔な表現を学ぶため、カリフォルニア大学バークレー校、トヨタテクノロジカル研究所（シカゴ）、上海科技大学、ジョンズ・ホプキンス大学、イリノイ大学、香港大学の研究者たちは、一つの目標を提案しています：良質な基準の測定です。彼らの研究では、表現学習の最も一般的な目標の一つは、データ（ここではトークンセット）の表現を格納する空間の次元を減らすことであり、それをガウス混合分布に適合させ、非関連な部分空間で補完します。このような表現の良さは、獲得された表現の内部情報ゲインと外部スパース性を同時に最適化する原理的な指標であるスパースレート削減を用いて評価することができます。この指標を最大化するための反復的な手法は、トランスフォーマーなどの一般的なディープネットワーク設計を意味します。具体的には、この目標の異なる側面に対して交互に最適化を行い、トランスフォーマーブロックを導出します。まず、多重自己注意オペレータは、特徴の符号化レートに関する近似的な勾配降下ステップを用いて表現を圧縮し、次に、後続の多層パーセプトロンが特徴を指定します。

これにより、最適化の対象、ネットワークオペレータ、学習された表現がすべて数学的に完全に解釈可能な「ホワイトボックス」として、トランスフォーマーに似たディープネットワーク設計に至りました。彼らは、このタイプのホワイトボックスであるディープアーキテクチャをコーディングレートトランスフォーマーと呼びます。チームはまた、これらの増分写像が分布的意味で逆可能であり、逆演算は同じオペレータファミリーからなることを厳密な数学的証明で示しています。したがって、エンコーダ、デコーダ、およびオートエンコーダは、ほぼ同じクレートデザインを使用して実装することができます。

• スタンフォードの研究者たちは、基礎流体力学のための初の大規模な機械学習データセットであるBLASTNetを紹介しました
• 「包括的な時系列探索的分析」
• 「Pythonを用いた巡回セールスマン問題の実装、解決、および可視化」

このフレームワークが理論と実践のギャップを実際に埋めることができるかどうかを示すために、研究者たちは画像とテキストデータの両方で広範な実験を行い、クレートモデルの実践的なパフォーマンスを評価しました。従来のトランスフォーマー（ViT、MAE、DINO、BERT、GPT2など）と比べて、クレートはすべてのタスクと設定でそのブラックボックスの対応物と競争力のあるパフォーマンスを示しました。これには、教師あり学習による画像分類、教師なしの画像や言語データのマスク補完、教師なしの特徴学習などのタスクが含まれます。さらに、クレートモデルは多くの有用な機能を持っています。オブジェクトを背景から容易に分割し、共有パーツに分割することでセマンティックな意味を示します。各層とネットワークオペレータには統計的および幾何学的な意味があります。提案された計算パラダイムは、ディープラーニングの理論と実践をデータ圧縮の統一的な観点から接続することで、大きな約束を示していると考えています。

チームは、限られたリソースで上記のすべてのタスクにおいて最先端のパフォーマンスを目指すわけではなく、重いエンジニアリングや大規模な微調整が必要な場合もなく、現在の産業規模でモデルを構築してテストすることもできません。彼らがこれらの雑用のために開発したソリューションは、一般的に汎用的でタスク固有の柔軟性に欠けるものです。しかし、彼らはこれらの研究が、これらのデータから構築されたホワイトボックスのディープネットワーククレートモデルが普遍的に効果的であり、将来のエンジニアリングの研究開発の堅固な基盤を提供していることを合理的な疑いを越えて証明したと考えています。

大規模な実世界（画像またはテキスト）のデータセットおよびタスク（識別および生成）において、教師あり、教師なし、および自己教師ありの状況で、これらのネットワークはおそらく利用可能なアーキテクチャの中で最もシンプルながら、経験豊富なトランスフォーマーと同等のパフォーマンスを発揮すると考えています。彼らは、この研究が、トランスフォーマーなどのディープネットワークに基づく現在のAIシステムの全ポテンシャルを明らかにする新たな視点を提供していると信じています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!