「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」

「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」

Polarsを使用したVariogramの計算の前奏曲

UnsplashからのYiorgosの写真

私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:

  • xiから距離d離れた地点では、もはやxiから情報的価値を得ることはできませんか?
  • 距離の関数としての測定には周期性がありますか?

私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。

Variogramの問題は、計算コストが高いということです。しかし、最近はpolarsを使って遊んでいて、rolling [5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling [6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。

証明:Polars .rollingはVariogramに使用できますか?

Variogramのアルゴリズムは比較的単純です[1]:

ここで、hはラグ(つまり距離)、deltaは許容しきい値、zは計測している値、Nはラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。

polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:

  • (x0 + offset, x0 + offset + period]
  • (x1 + offset, x1 + offset + period]

もし、offset = h - deltaを定義し、period=2*deltaとした場合、次のものを再現できます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIテクノロジー

「LXTのテクノロジーバイスプレジデント、アムル・ヌール・エルディン - インタビューシリーズ」

アムル・ヌール・エルディンは、LXTのテクノロジー担当副社長ですアムルは、自動音声認識(ASR)の文脈での音声/音響処理と機...

AIテクノロジー

アンソニー・グーネティレケ氏は、Amdocsのグループ社長であり、テクノロジー部門および戦略部門の責任者です- インタビューシリーズ

アンソニー・グーネティレーケは、Amdocsでグループ社長、テクノロジーと戦略担当です彼と企業戦略チームは、会社の戦略を策...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

人工知能

「15Rockの共同創業者兼CEO、ガウタム・バクシ氏によるインタビューシリーズ」

「ガウタム・バクシは、気候リスク管理とアドバイザリーサービスのグローバルリーダーである15Rockの共同創設者兼CEOですガウ...

人工知能

「aiOlaのCEO兼共同創設者、アミール・ハラマティによるインタビューシリーズ」

アミール・ハラマティは、aiOlaのCEO兼共同創業者であり、スピーチを作業可能にし、どこでも完全な正確さで業界固有のプロセ...