「データ駆動方程式発見について」という文章です

『データ駆動方程式の発見について』

実験により検証された解析式を用いて自然を描写することは、特に物理学の基本的な重力法則から量子力学など、科学の成功の一環となってきました。気候変動、核融合、計算生物学などの課題により私たちはより高い計算力に焦点を当てるようになり、物理的な一貫性を低いコストで維持する簡潔ながらも堅牢な簡約モデルへの成長する需要があります。科学的機械学習は、そのような解決策を提供することを約束する新興の分野です。この記事は、機械学習や統計の基本に詳しい科学者やエンジニアを対象とした、最近のデータ駆動型の方程式発見手法の短いレビューです。

動機と歴史的な視点

単にデータに適合させることだけでは目先の利益に過ぎず、トレミーの地心説モデルがケプラーの太陽中心説モデルまで観測的に正確なモデルであったことが示しています。したがって、観測結果と基本的な自然法則を組み合わせることは科学において大きな役割を果たしています。ただし、物理学では、世界のモデルがすでにデータ駆動型であることを多くの場合忘れています。例えば、19個のパラメータを持つ標準モデルのような例を考えてみてください。その数値は実験により確立されています。気象や気候のために使用される地球システムモデルは、流体力学に基づく物理的な一貫性を持ちながらも、多くの敏感なパラメータの観測に対する慎重なキャリブレーションを必要とします。そして、簡約モデリングは、核融合や宇宙天気のコミュニティで注目を集め、将来的にも重要なものとなるでしょう。生物学や社会科学などの分野では、第一原理アプローチが効果的でない場合、統計的なシステム同定は既に大きな役割を果たしています。

データからシステムの進化を予測することが可能な機械学習のさまざまな手法があります。最近では、ディープニューラルネットワークが気象予測の分野で大きな進展を遂げており、GoogleのDeepMindチームなどがその実証を示しています。これは、彼らが利用できる膨大なリソースと、気象データと物理数値天気予報モデルの一般的な利用可能性によるものです。ただし、データが生成された条件（気候変動など）が変化する場合、完全なデータ駆動型モデルは一般化が悪い可能性があります。このようなブラックボックスアプローチを気候モデリングやデータが不足している他の状況に適用することは疑わしいと言えます。そのため、この記事ではデータから方程式を抽出する方法に重点を置きます。なぜなら、方程式の方が解釈可能であり、過学習の問題が少ないからです。機械学習の言葉で言えば、このようなパラダイムは「高バイアス – 低分散」と呼ばれます。

最初に言及すべき手法は、SchmidtとLipsonによる画期的な研究です。彼らは遺伝的プログラミング（GP）を使用して、単純な力学系（ダブルペンデュラムなど）の軌道のデータから方程式を抽出するための記号的回帰を行いました。この手続きは、候補の記号的関数を生成し、これらの式に関与する偏微分を導出し、これらの導出をデータから数値的に推定された導出と比較することで行われます。充分な精度が得られるまで手順を繰り返します。重要なことは、比較的精度の高い非常に多数の候補式が存在するため、原則として「簡素性」を満たすものを選ぶことです。簡素性は、式中の項の数の逆数で測定され、予測精度は検証のためにのみ使用される保留された実験データのエラーで測定されます。この簡素モデリングの原則は、方程式探索の土台となります。

• MLを学ぶ勇気：可能性、MLE、およびMAPの解読
• データエンジニアのためのデータモデリング
• LLMとGNN グラフデータ上の両AIシステムの推論力を向上させる方法

この方法は、解析式のさまざまな組み合わせを探索するという利点があります。これはさまざまなシステムで試されており、特に私は「AI — Feynman」というシステムに注目します。遺伝的プログラミングとニューラルネットワークの助けを借りて、フェインマンの物理学の講義からデータを特定することができました。別の興味深い適用例としては、気候における海洋パラメータ化の発見があります。ここでは、より高品質なモデルを実行してトレーニングデータを提供し、トレーニングデータからより安価な低品質なモデルの補正を発見します。しかし、遺伝的プログラミングには欠点もあり、パラメータ化がうまく機能するためには人間の介入が不可欠です。また、進化の過程に従っているため、非常に効率が悪い可能性もあります。他の可能性はありますか？これにより、近年の方程式の発見の分野を支配している方法について考えることができます。

疎なシステム同定

非線形ダイナミクスの疎な同定（SINDy）は、概念的にシンプルでありながら強力な方法の一つです。これはスティーブン・L・ブラントン氏のグループによって導入され、他のグループと共にいくつかのリンク、リポジトリ、およびYouTubeのチュートリアルと共に提供されています。実践的な経験を積むために、彼らのJupyterノートブックを試してみてください。

私は、オリジナルのSINDy論文に従ってこの方法を説明します。通常、軌道データは、x(t)、y(t)、z(t)などの座標から成り立っています。目標は、データから一次の常微分方程式（ODE）を再構築することです：

有限差分法（例如）通常用于计算ODE左侧的导数。由于导数估计容易出错，这会在数据中产生噪音，而这通常是不希望的。在某些情况下，过滤可能有助于处理这些问题。然后，选择一个单项式库（基础函数）来适应ODE右侧，如图所示：

问题在于，除非我们拥有大量的数据，否则这个任务将是无望的，因为许多不同的多项式都能很好地工作，这将导致过度拟合。幸运的是，这就是稀疏回归发挥作用的地方：关键是对右侧过多激活的基础函数进行惩罚。这可以通过多种方式实现。原始的SINDy依赖的其中一种方法被称为Sequential Threshold Least Squares（STLS），可以总结如下：

换句话说，使用标准最小二乘法解出系数，然后依次消除小系数，并每次应用最小二乘法。该过程依赖一个超参数，该参数控制系数的小数程度。该参数似乎是任意的，但可以执行所谓的Pareto分析：通过保留一些数据并测试学得模型在测试集上的表现，确定此稀疏化超参数。这个系数的合理值对应于学得模型的准确性与复杂性（包括了多少个术语）之间曲线上的“拐点”，即所谓的Pareto前沿。或者，一些其他出版物已经推广使用信息准则而不是上述Pareto分析。

作为对SINDy最简单的应用，考虑如何使用STLS成功地识别Lorenz 63模型：

多くの自由度を持つ系、例えば偏微分方程式（PDE）のような系に対しては、STLSには制限があります。その場合、次元削減を考慮することができます。具体的には、主成分分析（PCA）や非線形オートエンコーダーなどがあります。その後、SINDyアルゴリズムはPDE-FIND 論文によってさらに改良されました。この論文では、Sequential Threshold Ridge (STRidge) が導入されました。STLSと同様に、小さな係数の除去とL2ペナルティを交互に行うことで、シミュレーションデータから標準的なPDE（Burgers’方程式、Korteweg–De Vries（KdV）、Navier Stokes、反応拡散など）を発見できるようになりました。また、科学的な機械学習でよく遭遇する比較的特異な方程式であるKuramoto — Sivashinskyも発見できるようになりました。この方程式はデータからその導関数を直接推定する必要があるため一般に難しいです。

この方程式の同定は以下の入力データから直接行われます（同じ方程式を数値的に解くことによって得られます）。

ただし、この方法はエラーが発生する可能性があるというわけではありません。実際、SINDyをリアルな観測データに適用する際の大きな課題の一つは、観測データ自体が疎でノイズが多いことであり、通常、そのような状況では同定が困難になることです。同じ問題は遺伝的プログラミング（GP）などの象徴的回帰に基づく手法にも影響を与えます。

Weak SINDyは、ノイズに対するアルゴリズムの頑健性を大幅に向上させる比較的新しい手法です。この手法は、Daniel Messenger、Daniel R. Gurevich、Patrick Reinboldなどによって独立に実装されています。この手法の主なアイデアは、PDEの微分形を発見するのではなく、いくつかのテスト関数によってPDEを領域上で積分することによってその[弱]積分形を発見することです。これにより、部分積分が可能になり、応答関数（未知の解）から難解な微分項を除去し、代わりに既知のテスト関数にこれらの微分項を適用することができます。この手法は、AlvesとFiuzaによって行われたプラズマ物理学の方程式の発見でも実装され、Vlasov方程式やプラズマ流体モデルをシミュレーションデータから復元することができました。

SINDyアプローチのもう一つの明らかな制約は、同定が常に基本となる項（例：単項式）のライブラリに制限されるということです。三角関数など他のタイプの基底関数も使用できますが、それでも一般的には不十分です。PDEが分子と分母の両方が多項式である有理関数の形をしていると仮定してみましょう。

これは、遺伝的プログラミング（GP）を使用して簡単に処理できるような状況です。ただし、SINDyは、SINDy-PI（並列暗示的）が導入され、これによってBelousov-Zhabotinsky反応を記述するPDEの同定が成功裏に行われました。

最後に、疎なベイズ回帰やRelevance Vector Machine（RVM）などの他の疎な係数を促進する手法も、データから方程式を同定するために同じ用語のフィッティングライブラリを利用しました。これらの手法は統計学者によって高く評価されており、独自のマージナライゼーションと「オッカムの剃刀」の原則を活用しています。私はここではこれらの手法については触れませんが、Zhang and Linなどの著者はODEのよりロバストなシステム同定を主張し、この手法は単純なバロクリン洋モデルのクロージャの学習にも試されました。ここでは、著者はRVMがSTRidgeよりもよりロバストであると主張しています。さらに、これらの手法は同定された方程式の推定係数に対する自然な不確かさの定量化（UQ）も提供します。それについてはこれで十分であると言えますが、アンサンブルSINDyの最近の発展はよりロバストであり、UQを提供しますが、統計的手法であるブートストラップアグリゲーション（バギング）に依存しています。これは統計学と機械学習で広く適用されています。

物理的情報を持つ深層学習による同定

文献で非常に注目を集めているPDEの解決と係数の同定に関する代替手法は、物理的情報を持つニューラルネットワーク（PINNs）です。主要なアイデアは、ニューラルネットワークを使用してPDEの解のパラメータ化を行い、運動方程式や他の物理学に基づいたバイアスを損失関数に導入することです。「コロケーションポイント」と呼ばれる事前定義されたセットで損失関数は評価されます。勾配降下を行う際に、ニューラルネットワークの重みが調整され、解が「学習されます」。提供する必要があるデータは、初期条件と境界条件であり、これらは別個の損失項でも罰則として適用されます。この手法は実際にはニューラルネットワークに基づかない旧来のコロケーション法でPDEを解く手法を借用しています。ニューラルネットワークが自動微分の自然な方法を提供するという事実は、この手法を非常に魅力的なものにしています。ただし、PINNsは有限体積/要素などの標準的な数値解法と比較して一般的には競争力がないことがわかります。そのため、順方向の問題（数値的にPDEを解く）の解決手段としてのPINNsはあまり面白くありません。

しかし、既知のモデルを使用してデータを生成するのではなく、データを介してモデルを推定する逆問題の解決手段としてPINNsは興味深いものになります。 元のPINNs論文では、2つの未知のナビエ・ストークス方程式の係数がデータから推定されています

こちらを参照してください。

回顧すると、PDE-FINDのようなアルゴリズムと比較して、これはかなり単純なアプローチのように思われます。なぜなら、方程式の一般的な形式が既に仮定されているからです。それにもかかわらず、この研究の興味深い点は、アルゴリズムが圧力を与えられないことです。代わりに、圧縮性流れが仮定され、圧力の解はPINNによって直接回復されます。

PINNはさまざまな状況で適用されており、特に< a href=”https://www.voagi.com/introducing-fourcastnet-a-gamechanging-weather-forecasting-model-using-advanced-deep-learning-for.html”>スペースウェザーへの応用は注目に値します。そこでは、逆問題を解決することで放射帯の電子密度を推定するために使用されています。アンサンブル法（ニューラルネットワークの再学習）は、不確実性の推定に便利です。最終的には、解釈可能性を実現するために学習した拡散係数の多項式展開が行われます。直接SINDyのようなものを使用してこのアプローチと比較することは間違いなく興味深いでしょう。

「物理情報」の用語は他のチームによって称賛されており、彼ら自身の物理学的優先順位をニューラルネットワークに組み込む方法を考案し、そのアプローチを「物理ベース」「物理インスパイアード」などのキャッチーな名称で称えることもあります。これらのアプローチは、軟制約（損失内である方程式や対称性を満たさないことに罰則を科す）または硬制約（制約をニューラルネットワークのアーキテクチャに組み込む）として分類されることがあります。これらのアプローチの例は、気候科学など、他の学問分野でも見つけることができます。

ニューラルネットワークの逆伝播は、時間的および空間的な導関数の推定の代替手段を提供しているため、スパース回帰（SR）や遺伝的プログラミング（GP）はこれらのニューラルネットワーク補間法と結合されることは避けられないと思われました。このような研究はたくさんありますが、その中でも一つを強調します。DeePyMoD は比較的詳細に文書化されサポートされているリポジトリです。この方法がどのように機能するかを理解するだけで、同じ時期かそれ以降に行われた他の研究やそれをさまざまな方法で改善することができます。

およびPDEの機能的な形式を促進する正則化

DeePyMoDは、観測データから方程式を発見するために非常に頑健であり、弱いSINDyと比較してもノイズに対して強く、空間時間領域での観測点のわずかな部分しか必要としないため、素晴らしいニュースです。例えば、PDE-FINDが正確に特定する多くの標準的なPDEは、DeePyMoDでも同様に特定できますが、ノイズの多いデータを含む数千の点のサンプリングのみで可能です。ただし、このタスクにニューラルネットワークを使用することは、収束に時間がかかるというコストがかかります。もう1つの問題は、いくつかのPDEがヴァニラコロケーションメソッドにとって問題があることです。たとえば、高次の導関数を持つクラモトーフシヴァ田（KS）方程式です。KSは、ノイズの存在下でも弱形式のアプローチなしでデータから特定することは一般的に困難です。この問題を支援するためのより最近の開発には、弱いSINDyアプローチとニューラルネットワークコロケーションメソッドを組み合わせるものがあります。もう1つ興味深い、実際には未開拓の質問は、非ガウス性ノイズがどのようにこれらの方法に一般的に影響するかです。

結論

要約すると、方程式の発見は物理ベースの機械学習の自然な候補であり、世界中のさまざまなグループによって積極的に開発されています。これは、流体力学、プラズマ物理学、気候などのさまざまな分野で応用されています。他の手法を重視した広範な概要については、レビュー記事を参照してください。読者は、フィールドに存在するさまざまな手法の風味を得ることができたと思いますが、あまり技術的な内容になりすぎないようにするために、私は表面をほんの少し触れただけです。また、ニューラル常微分方程式（ODE）などの物理ベースの機械学習への新しいアプローチも多数あります。

参考文献

1. Camps-Valls, G. et al. データから因果関係や方程式を発見する。物理学レポート1044, 1–68 (2023)。
2. Lam, R. et al. スキルフルなVoAGI範囲の地球気象予測を学習する。Science0, eadi2336 (2023)。
3. Mehta, P. et al. 物理学者のための高バイアス、低バリアンスの機械学習入門。物理学レポート810, 1–124 (2019)。
4. Schmidt, M. & Lipson, H. 実験データから自由形式の自然法則を抽出する。Science324, 81–85 (2009)。
5. Udrescu, S.-M. & Tegmark, M. AIフェイマン：象徴的回帰のための物理学に触発された方法。Sci Adv6, eaay2631 (2020)。
6. Ross, A., Li, Z., Perezhogin, P., Fernandez-Granda, C. & Zanna, L. 理想化モデルでの機械学習オーシャンサブグリッドパラメータ化のベンチマーク。Journal of Advances in Modeling Earth Systems15, e2022MS003258 (2023)。
7. Brunton, S. L., Proctor, J. L. & Kutz, J. N. スパース非線形動力学システムの同定によるデータからの支配方程式の発見。Proceedings of the National Academy of Sciences113, 3932–3937 (2016)。
8. Mangan, N. M., Kutz, J. N., Brunton, S. L. & Proctor, J. L. 情報基準を用いたスパース回帰および情報基準を用いた動的システムのモデル選択。Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences473, 20170009 (2017)。
9. Rudy, S. H., Brunton, S. L., Proctor, J. L. & Kutz, J. N. データ駆動型の偏微分方程式の発見。Science Advances3, e1602614 (2017)。
10. Messenger, D. A. & Bortz, D. M. 弱いSINDyによる偏微分方程式。Journal of Computational Physics443, 110525 (2021)。
11. Gurevich, D. R., Reinbold, P. A. K. & Grigoriev, R. O. 非線形PDEモデルの頑健で最適なスパース回帰。Chaos: An Interdisciplinary Journal of Nonlinear Science29, 103113 (2019)。
12. Reinbold, P. A. K., Kageorge, L. M., Schatz, M. F. & Grigoriev, R. O. 物理的に制約された象徴的回帰によるノイズ、不完全、高次元の実験データからの頑健な学習。Nat Commun12, 3219 (2021)。
13. Alves, E. P. & Fiuza, F. 全粒子シミュレーションからの簡約プラズマ物理学モデルのデータ駆動型発見。Phys. Rev. Res.4, 033192 (2022)。
14. Zhang, S. & Lin, G. 誤差棒付きのガバナリング物理法則の頑健なデータ駆動型発見。Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences474, 20180305 (2018)。
15. Zanna, L. & Bolton, T. オーシャンメソスケールのクロージャーのデータ駆動型方程式の発見。Geophysical Research Letters47, e2020GL088376 (2020)。
16. Fasel, U., Kutz, J. N., Brunton, B. W. & Brunton, S. L. アクティブラーニングおよび制

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!