「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」

「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」

Polarsを使用したVariogramの計算の前奏曲

UnsplashからのYiorgosの写真

私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:

  • xiから距離d離れた地点では、もはやxiから情報的価値を得ることはできませんか?
  • 距離の関数としての測定には周期性がありますか?

私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。

Variogramの問題は、計算コストが高いということです。しかし、最近はpolarsを使って遊んでいて、rolling [5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling [6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。

証明:Polars .rollingはVariogramに使用できますか?

Variogramのアルゴリズムは比較的単純です[1]:

ここで、hはラグ(つまり距離)、deltaは許容しきい値、zは計測している値、Nはラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。

polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:

  • (x0 + offset, x0 + offset + period]
  • (x1 + offset, x1 + offset + period]

もし、offset = h - deltaを定義し、period=2*deltaとした場合、次のものを再現できます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「UVeyeの共同設立者兼CEO、アミール・ヘヴェルについてのインタビューシリーズ」

アミール・ヘヴァーは、UVeyeのCEO兼共同創設者であり、高速かつ正確な異常検出により、自動車およびセキュリティ産業に直面...

人工知能

「ジンディのCEO兼共同創設者、セリーナ・リー― インタビューシリーズ」

「Celina Leeは、ZindiのCEO兼共同創設者であり、アフリカのデータサイエンティスト向けの最大の専門ネットワークです Celina...

人工知能

エンテラソリューションズの創設者兼CEO、スティーブン・デアンジェリス- インタビューシリーズ

スティーブン・デアンジェリスは、エンタラソリューションズの創設者兼CEOであり、自律的な意思決定科学(ADS®)技術を用いて...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」

ジェームズ・エバンズは、CommandBarの創設者兼CEOであり、製品、マーケティング、顧客チームを支援するために設計されたAIパ...

人工知能

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジシ...