パンダの文字列操作を高速化する

高速化するパンダの文字列操作

このチュートリアルでは、文字列の操作を高速化することに焦点を当てています。

私は飽きたので、文字列の操作方法とそれらがパンダのデータフレームのパフォーマンスにどのように影響するかをベンチマークしました。よく知られているように、パンダのデータフレームはある限界を超えると奇妙な振る舞いをします。主にメモリの圧力に依存しており、また複数の行からの要素を一度に操作する際にもオーバーヘッドが発生します。

さて、ここで実験内容です。

Fakerを使用してデータフレームを作成しました。ベースデータは10万行のフェイクデータです。

セットアップ

!pip install faker

import pandas as pd
import numpy as np
def gen_data(x):
  from faker import Faker
  fake = Faker()
  outdata = {}
  for i in range(0,x):
    outdata[i] = fake.profile()
  return pd.DataFrame(outdata).T
n = 100000
basedata = gen_data(n)

出力をGoogleドライブに保存しました。

from google.colab import drive
drive.mount('/content/drive')

2つの文字列を連結するさまざまな方法をテストするために非常にシンプルな関数を作成しました。

def process(a,b):
  return ''.join([a,b])
def process(a,b):
  return a+b
def process(a,b):
  return f"{a}{b}"
def process(a,b):
  return f"{a}{b}"*100

次に、空のデータフレームを作成し、%%timeitの出力を行としてデータフレームに追加する関数を作成しました。

# %%timeitの出力を行としてデータフレームに追加する
def add_to_df(n, m, x, outputdf):
  outputdf.loc[len(outputdf.index)] = [m, n, x]
# 出力フレーム
outputdf = pd.DataFrame(columns=['method', 'n', 'timing'])
outputdf

以下は、各関数を実行し、データをパンダのデータフレームにエクスポートするためのコードのサンプルです。

# データのサンプルを取得
n = 10000
suffix = 'fstring_100x'
data = basedata.copy().sample(n).reset_index()

%%timeit -r 7 -n 1 -o
data['newcol'] = ''
for row in range(len(data)):
  data.at[row ,'newcol'] = process(data.at[row, 'job'], data.at[row, 'company'])
# 451 ms ± 34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
# <TimeitResult : 451 ms ± 34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)>

m = "行を反復処理する"
add_to_df(n = n, m = m, x = vars(_), outputdf = outputdf)

実験

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

キャルレールの最高製品責任者、ライアン・ジョンソンへのインタビューシリーズ

ライアンは、初期のスタートアップからフォーチュン100の組織まで、多様なテクノロジーと製品開発のリーダーシップ経験を15年...

機械学習

3つの質問:大規模言語モデルについて、Jacob Andreasに聞く

CSAILの科学者は、最新の機械学習モデルを通じた自然言語処理の研究と、言語が他の種類の人工知能をどのように高めるかの調査...

データサイエンス

2023年にAmazonのデータサイエンティストになる方法は?

ほとんどのビジネスは現在、膨大な量のデータを生成し、編集し、管理しています。しかし、ほとんどのビジネスは、収集したデ...

人工知能

「Zenの共同創設者兼CTO、イオン・アレクサンドル・セカラ氏によるインタビューシリーズ」

創業者兼CTOであるIon-Alexandru Secaraは、Zen(PostureHealth Inc.)の開発を牽引しており、画期的な姿勢矯正ソフトウェア...

人工知能

「Ntropyの共同創設者兼CEO、ナレ・ヴァルダニアンについて - インタビューシリーズ」

「Ntropyの共同創設者兼CEOであるナレ・ヴァルダニアンは、超人的な精度で100ミリ秒以下で金融取引を解析することを可能にす...

データサイエンス

「3つの質問:ロボットの認識とマッピングの研磨」

MIT LIDSのLuca CarloneさんとJonathan Howさんは、将来のロボットが環境をどのように知覚し、相互作用するかについて議論し...