パンダの文字列操作を高速化する

高速化するパンダの文字列操作

このチュートリアルでは、文字列の操作を高速化することに焦点を当てています。

私は飽きたので、文字列の操作方法とそれらがパンダのデータフレームのパフォーマンスにどのように影響するかをベンチマークしました。よく知られているように、パンダのデータフレームはある限界を超えると奇妙な振る舞いをします。主にメモリの圧力に依存しており、また複数の行からの要素を一度に操作する際にもオーバーヘッドが発生します。

さて、ここで実験内容です。

Fakerを使用してデータフレームを作成しました。ベースデータは10万行のフェイクデータです。

セットアップ

!pip install faker

import pandas as pd
import numpy as np
def gen_data(x):
  from faker import Faker
  fake = Faker()
  outdata = {}
  for i in range(0,x):
    outdata[i] = fake.profile()
  return pd.DataFrame(outdata).T
n = 100000
basedata = gen_data(n)

出力をGoogleドライブに保存しました。

• 「Snapchatにおける生成AIの力」
• あなたの特徴は重要ですか？それが良いということではありません
• 「ChatGPT APIのカスタムメモリ」

from google.colab import drive
drive.mount('/content/drive')

2つの文字列を連結するさまざまな方法をテストするために非常にシンプルな関数を作成しました。

def process(a,b):
  return ''.join([a,b])
def process(a,b):
  return a+b
def process(a,b):
  return f"{a}{b}"
def process(a,b):
  return f"{a}{b}"*100

次に、空のデータフレームを作成し、%%timeitの出力を行としてデータフレームに追加する関数を作成しました。

# %%timeitの出力を行としてデータフレームに追加する
def add_to_df(n, m, x, outputdf):
  outputdf.loc[len(outputdf.index)] = [m, n, x]
# 出力フレーム
outputdf = pd.DataFrame(columns=['method', 'n', 'timing'])
outputdf

以下は、各関数を実行し、データをパンダのデータフレームにエクスポートするためのコードのサンプルです。

# データのサンプルを取得
n = 10000
suffix = 'fstring_100x'
data = basedata.copy().sample(n).reset_index()

%%timeit -r 7 -n 1 -o
data['newcol'] = ''
for row in range(len(data)):
  data.at[row ,'newcol'] = process(data.at[row, 'job'], data.at[row, 'company'])
# 451 ms ± 34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
# <TimeitResult : 451 ms ± 34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)>

m = "行を反復処理する"
add_to_df(n = n, m = m, x = vars(_), outputdf = outputdf)

実験

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!