「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」

「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」

Polarsを使用したVariogramの計算の前奏曲

UnsplashからのYiorgosの写真

私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:

  • xiから距離d離れた地点では、もはやxiから情報的価値を得ることはできませんか?
  • 距離の関数としての測定には周期性がありますか?

私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。

Variogramの問題は、計算コストが高いということです。しかし、最近はpolarsを使って遊んでいて、rolling [5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling [6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。

証明:Polars .rollingはVariogramに使用できますか?

Variogramのアルゴリズムは比較的単純です[1]:

ここで、hはラグ(つまり距離)、deltaは許容しきい値、zは計測している値、Nはラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。

polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:

  • (x0 + offset, x0 + offset + period]
  • (x1 + offset, x1 + offset + period]

もし、offset = h - deltaを定義し、period=2*deltaとした場合、次のものを再現できます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

Q&A:ブラジルの政治、アマゾンの人権、AIについてのGabriela Sá Pessoaの見解

ブラジルの社会正義のジャーナリストは、MIT国際研究センターのフェローです

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

人工知能

ディープAIの共同創業者兼CEO、ケビン・バラゴナ氏- インタビューシリーズ

ディープAIの創設者であるケビン・バラゴナは、10年以上の経験を持つプロのソフトウェアエンジニア兼製品開発者です彼の目標...

人工知能

アーティスの創設者兼CEO、ウィリアム・ウーによるインタビューシリーズ

ウィリアム・ウーは、Artisseの創設者兼CEOであり、ユーザーの好みに基づいて写真を精密に変更する技術を提供していますそれ...

人工知能

『DeepHowのCEO兼共同創業者、サム・ジェン氏によるインタビューシリーズ』

ディープハウのCEO兼共同創設者であるサム・ジェンは、著名な投資家から支持される急速に進化するスタートアップを率いていま...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...