「ポーラーズ.ローリングは、列の数とどのようにスケールしますか?」
「ポーラーズ.ローリングの列の数とスケールはどのように関係していますか?」
Polarsを使用したVariogramの計算の前奏曲
私は以前からVariograms[1]について読んでいます。これは空間における特定の量の変動を見るための可視化ツールであり、次のような疑問に答えるのに非常に有用な診断ツールとなります:
- 点
xi
から距離d
離れた地点では、もはやxi
から情報的価値を得ることはできませんか? - 距離の関数としての測定には周期性がありますか?
私はこの理論を時系列データに適用することに興味がありました。特に、時系列固有の方法である自己相関[2]と比較して、Variogramは欠落したデータや不均一な間隔を持つデータ(実際の時系列データの特徴)に対して有効であり、高次元[3, 4]に拡張することも可能です。
Variogramの問題は、計算コストが高いということです。しかし、最近はpolars
を使って遊んでいて、rolling
[5]メソッドや式がVariogramアルゴリズムにうまく適用できると思いました。ややこしい部分は、Variogramのスケールがラグの数に比例するため、Expr.rolling
[6]を大量の列に使用する際に性能が大幅に低下するかどうかを素早く確認したかったということです。
証明:Polars .rollingはVariogramに使用できますか?
Variogramのアルゴリズムは比較的単純です[1]:
ここで、h
はラグ(つまり距離)、delta
は許容しきい値、z
は計測している値、N
はラグが<h-delta を満たす点の集合です。つまり、差がの範囲にあるすべての点のペアを見つけようとしています。
polarsのrolling関数は非常に似たようなことをします。各点に対して、ウィンドウを作成します[5]:
(x0 + offset, x0 + offset + period]
(x1 + offset, x1 + offset + period]
- …
もし、offset = h - delta
を定義し、period=2*delta
とした場合、次のものを再現できます…
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
- 「LLM SaaSのためのFastAPIテンプレートPart 2 — CeleryとPg-vector」
- 「DIRFAは、オーディオクリップをリアルなデジタル顔に変換する」
- 「AIは第6の知性分野です」
- 「Huggingface 🤗を使用したLLMsのためのRLHFトレーニングパイプライン」
- In this article, we will explore the fascinating world of NOIR, Stanford University’s mind-controlled AI robot.
- 「ChatGPT for Parents — 生産性を高めるために必要なプロンプト」
- 「物理的な制約が脳のようなAIの進化を促す」