「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」

「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」

Polarsを使用したVariogramの計算の前奏曲

UnsplashからのYiorgosの写真

私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:

  • xiから距離d離れた地点では、もはやxiから情報的価値を得ることはできませんか?
  • 距離の関数としての測定には周期性がありますか?

私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。

Variogramの問題は、計算コストが高いということです。しかし、最近はpolarsを使って遊んでいて、rolling [5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling [6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。

証明:Polars .rollingはVariogramに使用できますか?

Variogramのアルゴリズムは比較的単純です[1]:

ここで、hはラグ(つまり距離)、deltaは許容しきい値、zは計測している値、Nはラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。

polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:

  • (x0 + offset, x0 + offset + period]
  • (x1 + offset, x1 + offset + period]

もし、offset = h - deltaを定義し、period=2*deltaとした場合、次のものを再現できます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

スコット・スティーブンソン、スペルブックの共同創設者兼CEO- インタビューシリーズ

スコット・スティーブンソンは、Spellbookの共同創設者兼CEOであり、OpenAIのGPT-4および他の大規模な言語モデル(LLM)に基...

機械学習

「機械学習 vs AI vs ディープラーニング vs ニューラルネットワーク:違いは何ですか?」

テクノロジーの急速な進化は、ビジネスが効率化のために洗練されたアルゴリズムにますます頼ることで、私たちの日常生活を形...

人工知能

ギル・ジェロン、Orca SecurityのCEO&共同創設者-インタビューシリーズ

ギル・ゲロンは、オルカ・セキュリティのCEO兼共同設立者ですギルは20年以上にわたりサイバーセキュリティ製品をリードし、提...

人工知能

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

2016年に設立されたSatisfi Labsは、会話型AI企業のリーディングカンパニーです早期の成功は、ニューヨーク・メッツ、メイシ...

人工知能

Aaron Lee、Smith.aiの共同設立者兼CEO - インタビューシリーズ

アーロン・リーさんは、Smith.aiの共同創業者兼CEOであり、AIと人間の知性を組み合わせて、24時間365日の顧客エンゲージメン...

人工知能

「aiOlaのCEO兼共同創設者、アミール・ハラマティによるインタビューシリーズ」

アミール・ハラマティは、aiOlaのCEO兼共同創業者であり、スピーチを作業可能にし、どこでも完全な正確さで業界固有のプロセ...