「マルチスレッディングの探求：Pythonにおける並行性と並列実行」
Exploring Multithreading Concurrency and Parallel Execution in Python
イントロダクション
並行性は、アプリケーションの速度と応答性を向上させるのに役立つ、コンピュータプログラミングの重要な要素です。Pythonでは、マルチスレッドを使用して並行性を作り出す強力な方法があります。マルチスレッドを使用すると、複数のスレッドが単一のプロセス内で同時に実行され、並行実行とシステムリソースの効果的な利用が可能になります。このチュートリアルでは、Pythonのマルチスレッドについて詳しく説明します。アイデア、利点、困難について説明します。スレッドの設定と制御、スレッド間でのデータ共有、スレッドの安全性の確保などを学びます。
また、共有リソースの管理や競合状態の回避のための典型的な罠や、マルチスレッドのプログラムの開発と実装のための推奨事項も学びます。マルチスレッドの理解は、ネットワークアクティビティ、I/Oバウンドタスクを含むアプリケーションの開発、またはプログラムをより応答性のあるものにする試みなど、どのような場面でも有利です。並行実行の潜在能力を最大限に活用することで、パフォーマンスの向上とシームレスなユーザーエクスペリエンスを実現できます。Pythonのマルチスレッドの奥深さに迫り、並行かつ効果的なアプリケーションを作成するためのポテンシャルを引き出す方法を発見するために、私たちと一緒にこの航海に参加してください。
学習目標
このトピックからのいくつかの学習目標は以下の通りです：
1. スレッドとは何か、単一プロセス内でどのように動作し、並行性をどのように実現するかを含め、マルチスレッドの基礎を学びます。Pythonでのマルチスレッドの利点と制限、特にCPUバウンドタスクへのGlobal Interpreter Lock（GIL）の影響について理解します。
2. ロック、セマフォ、条件変数などのスレッド同期技術を探索し、共有リソースの管理と競合状態の回避方法を学びます。スレッドの安全性を確保し、共有データを効率的かつ安全に処理する並行プログラムの設計方法を学びます。
3. Pythonのスレッディングモジュールを使用してスレッドを作成・管理するハンズオンの経験を積みます。スレッドの開始、結合、終了方法を学び、スレッドプールやプロデューサー・コンシューマーモデルなどのマルチスレッドの一般的なパターンを探索します。
この記事はData Science Blogathonの一環として公開されました。
並行性の基本
コンピュータサイエンスの重要な考え方の1つは、並行性と呼ばれ、複数のタスクやプロセスを同時に実行することを指します。これにより、プログラムは複数のタスクを同時に処理することができ、応答性と全体的なパフォーマンスが向上します。並行性は、CPUコア、I/Oデバイス、ネットワーク接続などのシステムリソースを効果的に活用するため、プログラムのパフォーマンス向上に重要です。プログラムは、多くの活動を同時に実行することで、これらのリソースを効率的に使用し、アイドル時間を減らすことができます。これにより、実行が高速化し、効率が向上します。
並行性と並列性の違い
並行性と並列性は関連する概念ですが、明確な違いがあります：
並行性：「並行性」は、システムが多くの活動を同時に実行する能力を指します。並行システムでは、タスクが同時に実行されないかもしれませんが、交互に進むことができます。複数のタスクを同時に調整することが主な目標です。
並列性：一方、並列性は、異なる処理ユニットやコアに割り当てられた複数のタスクを同時に実行することを意味します。並列システムでは、タスクは同時にかつ並列に実行されます。困難をより管理しやすいアクションに分割し、それらを同時に実行してより速い結果を得ることに重点が置かれています。
多くのタスクを同時に実行して、それらが重なり合い、同時に進行するように管理することを並行性と呼びます。一方、並列性は、異なる処理ユニットを使用して多くのタスクを同時に実行することを意味します。Pythonでは、マルチスレッドとマルチプロセスを使用することで、並行性と並列プログラミングを実現することができます。マルチプロセスを使用して多くのプロセスを同時に実行することで並列性を実現し、マルチスレッドを使用して単一のプロセス内で多くのスレッドを実行することで並行性を実現します。
マルチスレッドによる並行性
import threading
import time
def task(name):
print(f"タスク {name} 開始")
time.sleep(2) # 時間のかかるタスクをシミュレーション
print(f"タスク {name} 完了")
# 複数のスレッドの作成
threads = []
for i in range(5):
t = threading.Thread(target=task, args=(i,))
threads.append(t)
t.start()
# すべてのスレッドの完了を待つ
for t in threads:
t.join()
print("すべてのタスクが完了しました")この例では、名前を引数として受け取るタスク関数を定義しています。各タスクは2秒間スリープすることで時間のかかる操作をシミュレートします。5つのスレッドを作成し、各スレッドに異なる名前でタスク関数を実行するように割り当てます。マルチプロセスを使用して多くのプロセスを同時に実行することで並列性が有効になり、マルチスレッドを使用して単一のプロセス内で多くのスレッドを実行することで並行性が有効になります。出力は異なる場合がありますが、タスクが交互に開始・完了する様子が観察でき、並行実行が示されています。
マルチプロセッシングによる並列処理
import multiprocessing
import time
def task(name):
print(f"タスク {name} 開始")
time.sleep(2) # 時間のかかるタスクをシミュレート
print(f"タスク {name} 完了")
# 複数のプロセスを作成
processes = []
for i in range(5):
p = multiprocessing.Process(target=task, args=(i,))
processes.append(p)
p.start()
# 全てのプロセスの完了を待機
for p in processes:
p.join()
print("全てのタスク完了")この例では、前と同じタスク関数を定義しています。ただし、スレッドではなく、マルチプロセッシングを使用して5つのプロセスを作成します。各プロセスは異なる名前でタスク関数を実行します。プロセスは開始され、完了を待機するために結合されます。このコードを実行すると、タスクが並行して実行されることがわかります。各プロセスは独立して実行され、別々のCPUコアを使用します。その結果、タスクは任意の順序で完了する可能性があり、マルチスレッドの例と比較して実行時間が大幅に短縮されることが観察されます。
これら2つの例を対比することで、Pythonにおける並行性（マルチスレッディング）と並列性（マルチプロセッシング）の違いがわかります。並列性は、異なる処理ユニットを使用してタスクを並行して実行することを可能にする一方、並行性はタスクを並行して進めることを可能にしますが、必ずしも並列的に進行するわけではありません。
マルチスレッディングの概要
マルチスレッディングとして知られるプログラミング方法により、1つのプロセス内で複数の実行スレッドが同時に実行されることが可能になります。スレッドはプログラム内の別々の制御フローを表すコンパクトな実行単位です。プログラムはマルチスレッディングを使用してタスクをより小さなスレッドに分割し、並行して実行し、パフォーマンスを向上させることができます。マルチスレッディングは、プログラムが複数の独立したアクティビティを処理する必要がある場合や、複数のタスクを同時に実行する必要がある場合に役立ちます。プロセス内のスレッドレベルで並列処理を可能にし、タスク間で同時に作業を行うことができます。
マルチスレッディングの利点
応答性の向上: マルチスレッディングにより、プロセスが同時に実行されることで、プログラムの応答性が向上します。プログラムは、重いタスクをバックグラウンドで実行しながら、ユーザーの操作に対して対話的で感度の高い動作を行うことができます。
効率的なリソース利用: システムリソースを賢く利用することには、CPUとメモリ時間を効率的に使用することが含まれます。プログラムは、複数のスレッドを同時に実行することで、リソースを効果的に利用し、アイドル時間を減らし、リソース利用を最大化することができます。
簡素化された設計とモジュール性: マルチスレッディングは、複雑なプロセスをより小さな、管理しやすいスレッドに分割することで、プログラムの設計を簡素化することができます。これにより、保守性が向上し、コードの理解が容易になります。各スレッドは異なるサブタスクに集中することができ、より明確で保守しやすいコードが作成されます。
共有メモリアクセス: 同じプロセス内で実行されるスレッドが共有メモリに直接アクセスすることにより、効率的なデータ共有と通信が可能になります。これは、スレッドが連携し、情報を交換したり、共通のデータ構造で作業したりする必要がある場合に有利です。
マルチスレッディングの欠点
同期と競合状態: マルチスレッディングでは、共有リソースへのアクセスを調整するために同期技術が必要です。同期が不十分な場合、多くのスレッドが共有データに同時にアクセスし、競合状態、破損したデータ、予測不可能な動作が発生する可能性があります。同期にはパフォーマンスオーバーヘッドが発生し、コードの複雑さが増します。
複雑さとデバッグの困難さの増加: 多くのスレッドを使用するプログラムは通常、単一のスレッドを使用するプログラムよりも複雑です。共有リソースの管理、スレッドの安全性の確保、複数のスレッドの実行の調整などが困難になることがあります。非決定的な動作や競合状態の可能性により、マルチスレッドのプログラムのデバッグもより困難になる場合があります。
デッドロックとスターベーションの可能性: 適切な同期やリソースの割り当てが行われない場合、スレッド同士がリソースの解放を待っているために前に進めなくなるデッドロックやスターベーションが発生することがあります。リソースの割り当てが正しく制御されない場合、一部のスレッドがリソースを使い果たす可能性もあります。
グローバルインタプリタロック（GIL）: Pythonのグローバルインタプリタロック（GIL）により、マルチスレッディングのプログラムは複数のCPUコアを適切に利用することができません。GILにより、1つのスレッドだけがPythonバイトコードを同時に実行できるため、CPUバウンドの操作に対するマルチスレッディングの可能なパフォーマンス上の利点が制限されます。ただし、I/Oバウンドや並行I/O、外部ライブラリやサブプロセスを必要とするCPUバウンドのシナリオでは、マルチスレッディングは依然として有益です。
マルチスレッドを成功裏に使用するためには、その利点と欠点を理解する必要があります。マルチスレッドの利点を最大限に活用しながら、同期の調整、共有リソースの効果的な管理、およびプログラムの固有の要件を考慮することによって、潜在的なネガティブを最小限に抑えることができます。
Pythonにおけるマルチスレッド
Pythonにはスレッドを構築および管理するためのスレッディングモジュールが用意されています。スレッディングモジュールは、スレッドでの作業を簡単にすることができるため、スレッドとの作業を高レベルで行うためのインターフェースを提供しています。
Pythonでのスレッドの作成
Pythonでスレッドを作成する際には、スレッディングモジュールを使用してスレッドを作成する際に一般的にスレッドのタスクを記述する関数が定義されます。Threadクラスのコンストラクタにこの関数をターゲットとして渡します。以下に例を示します：
import threading
def task():
print("スレッドのタスクが実行されました")
# スレッドを作成
thread = threading.Thread(target=task)
# スレッドを開始
thread.start()
# スレッドの完了を待つ
thread.join()
print("スレッドの実行が完了しました")この例では、メッセージを出力するタスク関数を定義しています。ターゲット引数をtask関数に設定してThreadクラスをインスタンス化することで、スレッドを作成します。start()メソッドを使用してスレッドを開始し、タスク関数を別のスレッドで実行します。最後に、join()メソッドを使用してメインプログラムの進行を待ちます。
Pythonでのスレッドの管理
スレッディングモジュールには、スレッドを管理するためのさまざまなメソッドと属性が用意されています。よく使用されるメソッドには次のものがあります：
1. start(): スレッドのターゲット関数の実行を開始します。
2. join([timeout]): スレッドの完了を待ちます。オプションのtimeout引数は、スレッドの完了を待つ最大時間を指定します。
3. is_alive(): スレッドが実行中であればTrueを返します。
4. name: スレッドの名前を取得または設定するプロパティ。
5. daemon: スレッドがデーモンスレッドかどうかを決定するブール値のプロパティ。デーモンスレッドは、メインプログラムが終了すると突然終了します。
これらはスレッドの管理メソッドと機能の一部の例です。スレッディングモジュールは、ロック、セマフォ、条件変数、およびスレッドの同期など、さまざまな追加機能を提供して、共有リソースの管理とスレッドの実行を同期させるのに役立ちます。
グローバルインタプリタロック（GIL）とPythonにおけるマルチスレッディングへの影響
CPython、言語のデフォルト実装であるGIL（グローバルインタプリタロック）により、Pythonバイトコードは一度に1つのスレッドだけが実行できます。つまり、複数のスレッドを持つPythonプログラムでも、1つのスレッドしか同時に進行できません。
PythonのGILは、メモリ管理を容易にし、同時のオブジェクトアクセスに対して保護するために作成されました。しかし、Pythonバイトコードは1つのスレッドしか実行できないため、多くのCPUコアを持つコンピュータでもマルチスレッディングの潜在的な性能利点を制限しています。
GILのため、Pythonにおけるマルチスレッディングは、I/Oバウンドのアクティビティ、同時I/Oジョブ、およびスレッドがI/O操作の完了を待つ必要がある長時間の待機状態に適しています。一部の状況では、スレッドはGILを他のスレッドに譲りながら待機することができ、並行性が改善され、システムリソースがより効果的に使用されるようになります。
GILは特定の操作に対してマルチスレッディングの使用を完全に禁止または無効化しないことを覚えておくことが重要です。マルチスレッディングは、同時I/O、応答性、およびブロッキング操作の効果的な処理に関しては依然として有利です。
ただし、GILの制限を回避するために、スレッドではなく異なるプロセスを使用するマルチプロセッシングモジュールが、CPUバウンドのワークロードにおいて真の並列処理が多くのCPUコアで利益をもたらす場合にしばしば推奨されます。Pythonプログラムで所望のパフォーマンスと並行性を得るためにマルチスレッディングを使用するか、マルチプロセッシングなどの代替戦略を考慮する際には、GILがマルチスレッディングに与える影響を理解することが重要です。
GILについて理解するためのキーポイント
GILとPythonのスレッド
Pythonは、並行性を実現し、同時に多くのアクティビティを実行するためにスレッドを使用します。しかし、マルチスレッドのPythonプログラムでも、GILのためにPythonバイトコードを同時に実行できるのは1つのスレッドだけです。これにより、Pythonスレッドは多くのCPUコアで同時に操作することができないため、CPUバウンドのワークロードに対するマルチスレッドの速度向上が制限されます。
GILのメモリ管理への影響
GILはPythonオブジェクトへのアクセスを制限することで、メモリ管理を容易にします。GILがない場合、複数のスレッドが同時にPythonオブジェクトにアクセスして変更する可能性があり、データの破損や予期しない動作が発生する可能性があります。1つのスレッドのみがPythonバイトコードを実行できることを保証することで、GILはこのような並行性の問題を防止します。
CPUバウンドタスクへの影響
GILは、CPUバウンドタスクに大きな影響を与えます。なぜなら、Pythonバイトコードを同時に実行できるのは1つのスレッドだけだからです。これらのタスクはCPUの計算を多く要求しますが、I/O操作の待機はほとんどありません。一部の場合では、GILを使用したマルチスレッドは、シングルスレッドのストラテジーよりも顕著なパフォーマンスの向上をもたらさない場合があります。
GILによる利点のあるシナリオ
すべてのタスクが基本的に否定的に影響を受けるわけではありません。I/Oバウンドの操作が関与する状況では、スレッドがI/Oの完了を待つためにかなりの時間を費やす場合、GILはほとんど影響を与えず、または有利になる場合があります。GILは、1つのスレッドがI/Oに詰まっている間に他のスレッドが実行されることで、並行性と応答性を向上させます。
GILの代替手段
CPUバウンドのジョブが複数のCPUコアで真の並列性を活用する場合は、マルチスレッドではなく、multiprocessingモジュールに切り替えることを検討することがあります。multiprocessingモジュールを使用して、独自のPythonインタプリタとメモリ空間を持つ個別のプロセスを設定することができます。各プロセスは独自のGILを持ち、他のプロセスと同時にPythonバイトコードを実行することができるため、並列処理が可能です。
GILを持たないPythonの実装がすべて存在するわけではないことを覚えておくことは重要です。JythonやIronPythonなどの代替Pythonの実装はGILを含んでおらず、真のスレッド並列性を実現することができます。さらに、特定のC/C++で記述された拡張モジュールなど、GILを意図的に解放して並行性を向上させる場合もあります。
import threading
def count():
c = 0
while c < 100000000:
c += 1
# 2つのスレッドを作成する
thread1 = threading.Thread(target=count)
thread2 = threading.Thread(target=count)
# スレッドを開始する
thread1.start()
thread2.start()
# スレッドの完了を待つ
thread1.join()
thread2.join()
print("カウントが完了しました")例
この例では、カウンタ変数cを100万回増やすcount関数を定義しています。count関数をターゲットとして、thread1とthread2の2つのスレッドを作成します。スレッドはstart()メソッドを使用して開始し、その後、join()メソッドを使用して完了を待ちます。
このコードを実行すると、2つのスレッドがカウント作業を分割し、シングルスレッドよりもタスクを早く完了することが期待されます。しかし、GILのため、Pythonバイトコードを同時に実行できるのは1つのスレッドだけです。そのため、スレッドはカウントがシングルスレッドで行われた場合とほぼ同じ時間をかけて完了します。GILの影響は、count関数を複雑な計算や集中的な数学演算などのCPUバウンドタスクを実行するように変更することで観察することができます。このような場合、GILを使用したマルチスレッドは、シングルスレッドの実行よりもパフォーマンスを向上させることができないかもしれません。
GILはCPythonの実装にのみ影響を与えることを理解することは重要です。JythonやIronPythonなどの代替実装が使用する異なるインタプリタアーキテクチャは、スレッドとの実際の並列性を実現することができるため、GILを持っていません。
スレッド同期
多数のスレッドのプログラミングでは、スレッド同期について慎重に考慮する必要があります。競合や競合状態を防ぐには、複数のスレッドの実行を調整し、共有リソースへのアクセスと変更が安全に行われるようにする必要があります。適切な同期がない場合、スレッド同士が干渉し、データの破損、一貫性のない結果、または予期しない動作が発生する可能性があります。
スレッド同期の必要性
複数のスレッドが同時に共有リソースや変数にアクセスする場合、スレッド同期が必要です。同期の主な目標は次のとおりです：
相互排他
共有リソースやクリティカルなコードセクションにアクセスすることができるのは1つのスレッドだけであることを保証します。これにより、並行的な変更によるデータの破損や一貫性のない状態が防止されます。
協調
効果的にスレッド間で通信し、活動を調整することを許可します。これには、条件が満たされた場合に他のスレッドにシグナルを送るか、特定の条件が満たされるまで待機するなどのタスクが含まれます。
同期技術
Pythonは、スレッドの同期ニーズに対応するためのさまざまな同期メカニズムを提供しています。一般的に使用されるテクニックには、ロック、セマフォ、条件変数などがあります。
ロック
ロック（通常はミューテックスと呼ばれる）は、相互排除を許可する同期の基本的なプリミティブです。他のスレッドがロックが解除されるのを待っている間、ロックを取得できるのは1つのスレッドだけです。この機能のために、PythonスレッディングライブラリはLockクラスを提供しています。
import threading
counter = 0
counter_lock = threading.Lock()
def increment():
global counter
with counter_lock:
counter += 1
# 複数のスレッドを作成してカウンターを増やす
threads = []
for _ in range(10):
t = threading.Thread(target=increment)
threads.append(t)
t.start()
# 全てのスレッドの完了を待機
for t in threads:
t.join()
print("カウンター:", counter)この例では、複数のスレッドによって共有されるカウンター変数が増加します。Lockオブジェクトであるcounter_lockは、カウンターにアクセスして変更する際に相互排除を保証します。
セマフォア
セマフォアは、カウントを維持する同期オブジェクトです。指定された制限まで複数のスレッドがクリティカルセクションに入ることを許可します。制限に達すると、後続のスレッドはセマフォアが解放されるまでブロックされます。この目的のために、スレッディングモジュールはSemaphoreクラスを提供しています。
import threading
semaphore = threading.Semaphore(3) # 同時に3つのスレッドを許可
resource = []
def access_resource():
with semaphore:
resource.append(threading.current_thread().name)
# リソースにアクセスするための複数のスレッドを作成
threads = []
for i in range(10):
t = threading.Thread(target=access_resource, name=f"Thread-{i+1}")
threads.append(t)
t.start()
# 全てのスレッドの完了を待機
for t in threads:
t.join()
print("リソース:", resource)この例では、制限が3つのセマフォアが共有リソースへのアクセスを制御します。クリティカルセクションに同時に3つのスレッドのみが入ることができ、他のスレッドはセマフォアが解放されるまで待機します。
条件変数
条件変数を使用すると、スレッドは特定の条件が満たされるまで待機できます。これにより、スレッド間でシグナルを送信し、活動を調整するメカニズムが提供されます。スレッディングモジュールは、この目的のためにConditionクラスを提供しています。
import threading
buffer = []
buffer_size = 5
buffer_lock = threading.Lock()
buffer_not_full = threading.Condition(lock=buffer_lock)
buffer_not_empty = threading.Condition(lock=buffer_lock)
def produce_item(item):
with buffer_not_full:
while len(buffer) >= buffer_size:
buffer_not_full.wait()
buffer.append(item)
buffer_not_empty.notify()
def consume_item():
with buffer_not_empty:
while len(buffer) == 0:
buffer_not_empty.wait()
item = buffer.pop(0)
buffer_not_full.notify()
return item
# プロデューサーとコンシューマーのスレッドを作成
producer = threading.Thread(target=produce_item, args=("アイテム1",))
consumer = threading.Thread(target=consume_item)
producer.start()
consumer.start()
producer.join()
consumer.join()この例では、プロデューサースレッドがアイテムを生成し、共有バッファに追加し、コンシューマースレッドがバッファからアイテムを消費します。条件変数buffer_not_fullとbuffer_not_emptyは、プロデューサーとコンシューマーのスレッドを同期し、プロデュースする前にバッファがいっぱいでないことを、コンシュームする前にバッファが空でないことを保証します。
結論
Pythonでのマルチスレッディングは、並行性を実現し、アプリケーションのパフォーマンスを向上させるための強力な方法です。単一のプロセス内で複数のスレッドが同時に実行されることにより、並列処理と応答性が可能になります。ただし、Pythonのグローバルインタプリタロック（GIL）を理解することが重要です。これは、CPUバウンドプロセスの真の並列性を制限します。効率的なマルチスレッディングプログラムを構築するためのベストプラクティスには、クリティカルセクションの特定、共有リソースへのアクセスの同期、スレッドセーフの確保などが含まれます。適切な同期方法（ロックや条件変数など）を選択することが重要です。マルチスレッディングは特にI/Oバウンドの操作に特に有益であり、並列処理を可能にし、プログラムの応答性を維持しますが、CPUバウンドプロセスへの影響はGILにより制限される場合があります。それでも、マルチスレッディングを取り入れ、ベストプラクティスに従うことで、Pythonアプリケーションの実行速度が向上し、ユーザーエクスペリエンスが向上することが期待できます。
キーポイント
以下に、いくつかのキーポイントを示します:
1. マルチスレッドは、単一のプロセス内で複数のスレッドを同時に実行することを可能にし、応答性を向上させ並列処理を実現します。
2. マルチスレッドでの作業において、Pythonのグローバルインタプリタロック（GIL）の理解は重要であり、CPUバウンドタスクに対して真の並列処理を制限します。
3. ロック、セマフォ、条件変数などの同期メカニズムは、スレッドセーフを確保し、マルチスレッドプログラムにおける競合状態を避けるために使用されます。
4. マルチスレッドは、I/Oバウンドタスクに適しており、I/O操作を重ねることでプログラムの応答性を維持することができます。
5. マルチスレッドのコードのデバッグとトラブルシューティングには、同期の問題に注意を払い、適切なエラーハンドリングを行い、ログとデバッグツールを活用する必要があります。
よくある質問
この記事に表示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
