「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」

「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」

Polarsを使用したVariogramの計算の前奏曲

UnsplashからのYiorgosの写真

私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:

  • xiから距離d離れた地点では、もはやxiから情報的価値を得ることはできませんか?
  • 距離の関数としての測定には周期性がありますか?

私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。

Variogramの問題は、計算コストが高いということです。しかし、最近はpolarsを使って遊んでいて、rolling [5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling [6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。

証明:Polars .rollingはVariogramに使用できますか?

Variogramのアルゴリズムは比較的単純です[1]:

ここで、hはラグ(つまり距離)、deltaは許容しきい値、zは計測している値、Nはラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。

polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:

  • (x0 + offset, x0 + offset + period]
  • (x1 + offset, x1 + offset + period]

もし、offset = h - deltaを定義し、period=2*deltaとした場合、次のものを再現できます…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

キャルレールの最高製品責任者、ライアン・ジョンソンへのインタビューシリーズ

ライアンは、初期のスタートアップからフォーチュン100の組織まで、多様なテクノロジーと製品開発のリーダーシップ経験を15年...

人工知能

「ゲイリー・ヒュースティス、パワーハウスフォレンジクスのオーナー兼ディレクター- インタビューシリーズ」

ゲイリー・ヒュースティス氏は、パワーハウスフォレンジックスのオーナー兼ディレクターであり、ライセンスを持つ私立探偵、...

人工知能

ピーター・マッキー、Sonarの開発者担当責任者-インタビューシリーズ

ピーター・マッキーはSonarのDeveloper Relationsの責任者です Sonarは、悪いコードの1兆ドルの課題を解決するプラットフォー...

人工知能

「マーシャンの共同創設者であるイータン・ギンスバーグについてのインタビューシリーズ」

エタン・ギンズバーグは、マーシャンの共同創業者であり、すべてのプロンプトを最適なLLMに動的にルーティングするプラットフ...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...

人工知能

「ジャスティン・マクギル、Content at Scaleの創設者兼CEO - インタビューシリーズ」

ジャスティンは2008年以来、起業家、イノベーター、マーケターとして活動しています彼は15年以上にわたりSEOマーケティングを...