Google AIは、高いベンチマークパフォーマンスを実現するために、線形モデルの特性を活用した長期予測のための高度な多変量モデル、TSMixerを導入します

Google AIは、長期予測のための高度な多変量モデル、TSMixerを導入します

近年、正確な時系列予測の重要性は、多くの現実世界のアプリケーションにおいて極めて重要となっています。需要トレンドの予測やパンデミックの拡大の予測など、正確な予測を行う能力は貴重です。多変量時系列予測には、ユニバリエートモデルとマルチバリエートモデルの2つのカテゴリが登場しています。ユニバリエートモデルは、シングル変数時系列データのトレンドや季節パターンをキャプチャすることに焦点を当てています。しかし、最近の研究では、マルチバリエートモデルはその有望さにもかかわらず、長期の予測ベンチマークにおいてシンプルなユニバリエート線形モデルに劣ることが明らかになりました。これは、クロスバリエート情報の効果や、そのような情報が有益でない場合にマルチバリエートモデルがそれでも自己を維持できるかについての重要な問題を提起しています。

時系列予測の領域では、最近、Transformerベースのアーキテクチャがシーケンスタスクにおいて優れたパフォーマンスを発揮したことから、その存在が広まってきました。しかし、長期の予測ベンチマークにおけるそのパフォーマンスは、よりシンプルな線形モデルと比較してその効果に疑問を投げかけています。そこで、Google AIチームによって画期的な解決策が提案されました。それがTime-Series Mixer（TSMixer）です。ユニバリエート線形モデルの利点を綿密に分析した後に開発されたTSMixerは、大きな飛躍を遂げました。線形モデルの強みを活かしながら、クロスバリエート情報を効率的に組み込むことで、長期の予測ベンチマークにおいて最高のユニバリエートモデルと同等のパフォーマンスを発揮するモデルとなりました。

線形モデルとTransformerの間の重要な違いの1つは、時間パターンのキャプチャ方法です。線形モデルは、固定された時間ステップに依存した重みを使用して静的な時間パターンをキャプチャするため、このようなパターンの学習に非常に効果的です。一方、Transformerは、データに依存した動的な重みを持つアテンションメカニズムに基づいており、動的な時間パターンをキャプチャし、クロスバリエート情報の処理を可能にしています。TSMixerアーキテクチャは、これら2つのアプローチを組み合わせることで、時間線形モデルの能力を保持しながら、クロスバリエート情報の力を利用しています。

• ジャクソン・ジュエットは、より少ないコンクリートを使用する建物の設計をしたいと考えています
• 「YaRNに会ってください：トランスフォーマーベースの言語モデルのコンテキストウィンドウを拡張するための計算効率の高い方法で、以前の方法よりもトークンが10倍少なく、トレーニングステップが2.5倍少なくて済みます」
• 「テンソル量子化：語られなかった物語」

メトリクスは嘘をつかないし、TSMixerの場合は結果が物を言います。電力、交通、天候などを含む7つの人気のある長期予測データセットで評価された結果、TSMixerは他のマルチバリエートモデルやユニバリエートモデルに比べて平均二乗誤差（MSE）で大幅な改善を示しました。これは、精度と洞察力を持って設計されたマルチバリエートモデルが、ユニバリエートモデルと同等の性能を発揮することを示しています。

結論として、TSMixerはマルチバリエート時系列予測の領域における画期的な瞬間を象徴しています。線形モデルとTransformerベースのアーキテクチャの利点を巧みに組み合わせることで、他のマルチバリエートモデルを凌駕するだけでなく、最先端のユニバリエートモデルと肩を並べることができます。時系列予測の分野が進化し続ける中、TSMixerはさまざまな領域でアプリケーションを革新することができるより強力で効果的なモデルの道を開拓しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!