🤗 Accelerate のご紹介

'🤗 Accelerate Introduction'

🤗 アクセラレート

あらゆる種類のデバイスで、生の PyTorch のトレーニングスクリプトを実行できます。

PyTorch の上位レベルの多くのライブラリは、分散トレーニングや混合精度のサポートを提供していますが、それらが導入する抽象化により、ユーザーは基礎となるトレーニングループをカスタマイズするために新しい API を学ぶ必要があります。🤗 アクセラレートは、トレーニングループを完全に制御したい PyTorch ユーザーのために作成されましたが、分散トレーニング（複数のノード上のマルチ GPU、TPU など）、混合精度トレーニングに必要な骨格コードの記述（および保守）を行いたくないユーザーも対象です。今後の計画には、fairscale、deepseed、AWS SageMaker 特定のデータ並列処理とモデル並列処理のサポートも含まれます。

それは次の2つのことを提供します：骨格コードを抽象化するシンプルで一貫した API と、さまざまなセットアップでこれらのスクリプトを簡単に実行するための起動コマンドです。

簡単な統合！

まずは例を見てみましょう：

• CPU上でBERT推論をスケーリングアップする（パート1）
• Hugging FaceモデルをGradio 2.0で使用して混在させる
• Hugging Face HubでのSentence Transformers

  import torch
  import torch.nn.functional as F
  from datasets import load_dataset
+ from accelerate import Accelerator

+ accelerator = Accelerator()
- device = 'cpu'
+ device = accelerator.device

  model = torch.nn.Transformer().to(device)
  optim = torch.optim.Adam(model.parameters())

  dataset = load_dataset('my_dataset')
  data = torch.utils.data.DataLoader(dataset, shuffle=True)

+ model, optim, data = accelerator.prepare(model, optim, data)

  model.train()
  for epoch in range(10):
      for source, targets in data:
          source = source.to(device)
          targets = targets.to(device)

          optimizer.zero_grad()

          output = model(source)
          loss = F.cross_entropy(output, targets)

-         loss.backward()
+         accelerator.backward(loss)

          optimizer.step()

標準の PyTorch トレーニングスクリプトにわずか5行のコードを追加するだけで、このスクリプトをどのような分散設定でも実行できるようになり、混合精度を使用するかどうかに関係なく実行できます。🤗 アクセラレートは、デバイスの配置も自動的に処理するため、上記のトレーニングループをさらに簡素化できます：

  import torch
  import torch.nn.functional as F
  from datasets import load_dataset
+ from accelerate import Accelerator

+ accelerator = Accelerator()
- device = 'cpu'

- model = torch.nn.Transformer().to(device)
+ model = torch.nn.Transformer()
  optim = torch.optim.Adam(model.parameters())

  dataset = load_dataset('my_dataset')
  data = torch.utils.data.DataLoader(dataset, shuffle=True)

+ model, optim, data = accelerator.prepare(model, optim, data)

  model.train()
  for epoch in range(10):
      for source, targets in data:
-         source = source.to(device)
-         targets = targets.to(device)

          optimizer.zero_grad()

          output = model(source)
          loss = F.cross_entropy(output, targets)

-         loss.backward()
+         accelerator.backward(loss)

          optimizer.step()

対照的に、このコードを分散トレーニングで実行するために必要な変更は次のとおりです：

+ import os
  import torch
  import torch.nn.functional as F
  from datasets import load_dataset
+ from torch.utils.data import DistributedSampler
+ from torch.nn.parallel import DistributedDataParallel

+ local_rank = int(os.environ.get("LOCAL_RANK", -1))
- device = 'cpu'
+ device = device = torch.device("cuda", local_rank)

  model = torch.nn.Transformer().to(device)
+ model = DistributedDataParallel(model)  
  optim = torch.optim.Adam(model.parameters())

  dataset = load_dataset('my_dataset')
+ sampler = DistributedSampler(dataset)
- data = torch.utils.data.DataLoader(dataset, shuffle=True)
+ data = torch.utils.data.DataLoader(dataset, sampler=sampler)

  model.train()
  for epoch in range(10):
+     sampler.set_epoch(epoch)  
      for source, targets in data:
          source = source.to(device)
          targets = targets.to(device)

          optimizer.zero_grad()

          output = model(source)
          loss = F.cross_entropy(output, targets)

          loss.backward()

          optimizer.step()

これらの変更により、トレーニングスクリプトを複数の GPU で動作させることができますが、スクリプトは CPU や 1 つの GPU では動作しなくなります（すべての場所で if 文を追加しない限り）。さらに迷惑なことに、スクリプトを TPU でテストしたい場合は、異なる行のコードを変更する必要があります。混合精度トレーニングも同様です。🤗 アクセラレートの約束は次のとおりです：

• トレーニングループへの変更を最小限に抑えることで、できるだけ少なく学ぶ必要があります。
• 同じ関数がどの分散設定でも動作するため、1 つの API のみを学ぶ必要があります。

動作原理はどうなっていますか？

実際にライブラリがどのように動作するかを確認するために、トレーニングループに追加する必要のあるコードの各行を見てみましょう。

accelerator = Accelerator()

この行は、使用するメインオブジェクトを提供するだけでなく、環境から分散トレーニングランのタイプを分析し、必要な初期化を行います。このinitにcpu=Trueまたはfp16=Trueを渡すことで、CPUでのトレーニングや混合精度トレーニングを強制することもできます。これらのオプションは、スクリプトのランチャーを使用しても設定できます。

model, optim, data = accelerator.prepare(model, optim, data)

これはAPIの主要な部分であり、3つの主要なオブジェクトを準備します。モデル（torch.nn.Module）、オプティマイザ（torch.optim.Optimizer）、およびデータローダー（torch.data.dataloader.DataLoader）です。

モデル

モデルの準備には、適切なコンテナ（たとえばDistributedDataParallel）でラップすることと、適切なデバイスに配置することが含まれます。通常の分散トレーニングと同様に、モデルを保存するためにはアンラップする必要があります。また、accelerator.unwrap_model(model)を使用して特定のメソッドにアクセスすることもできます。

オプティマイザ

オプティマイザも特殊なコンテナでラップされており、混合精度が機能するために必要な操作をステップで実行します。また、状態辞書のデバイス配置も適切に処理します（非空の場合やチェックポイントからロードされた場合）。

データローダー

ここにはほとんどの魔法が隠されています。コードの例で見たように、このライブラリはDistributedSamplerに依存しません。実際には、データローダーに渡す可能性のある任意のサンプラーで動作します（独自のカスタムサンプラーの分散バージョンを書かなければならなかった場合、それはもう必要ありません）。データローダーは、現在のプロセスに関連するインデックスのみをサンプラーから取得し（IterableDatasetを使用する場合は他のプロセスのバッチをスキップ）、バッチを適切なデバイスに配置するコンテナでラップされます。

これが機能するために、Accelerateは、分散トレーニング中に実行される各プロセスの乱数生成器を同期するユーティリティ関数を提供します。デフォルトでは、サンプラーのgeneratorのみを同期するため、データ拡張は各プロセスで異なるものになりますが、ランダムシャッフルは同じになります。必要に応じて、より多くのRNGを同期するためにこのユーティリティを使用することもできます。

accelerator.backward(loss)

この最後の行は、後方パスのための必要なステップ（主に混合精度ですが、他の統合ではここでカスタムの動作が必要になる場合もあります）を追加します。

評価はどうですか？

評価はすべてのプロセスで通常実行することもできますが、メインプロセスでのみ実行したい場合は、便利なテストを使用することができます：

if accelerator.is_main_process():
    # 評価ループ

しかし、Accelerateを使用して簡単に分散評価を実行することもできます。以下に、評価ループに追加する必要がある内容を示します：

+ eval_dataloader = accelerator.prepare(eval_dataloader)
  predictions, labels = [], []
  for source, targets in eval_dataloader:
      with torch.no_grad():
          output = model(source)

-     predictions.append(output.cpu().numpy())
-     labels.append(targets.cpu().numpy())
+     predictions.append(accelerator.gather(output).cpu().numpy())
+     labels.append(accelerator.gather(targets).cpu().numpy())

  predictions = np.concatenate(predictions)
  labels = np.concatenate(labels)

+ predictions = predictions[:len(eval_dataloader.dataset)]
+ labels = label[:len(eval_dataloader.dataset)]

  metric_compute(predictions, labels)

トレーニングと同様に、評価データローダーを準備するための1行を追加する必要があります。その後、accelerator.gatherを使用して、予測とラベルのテンソルをプロセス間で収集するだけです。最後の行は、準備された評価データローダーが各プロセスでバッチのサイズを同じにするために、予測とラベルをデータセットの例数に切り詰めます。

すべてを支配する1つのランチャー

Accelerateを使用するスクリプトは、torch.distributed.launchなどの従来のランチャーと完全に互換性があります。しかし、それらの引数をすべて覚えることは少し面倒です。また、4つのGPUでインスタンスをセットアップした場合、ほとんどのトレーニングはそれらをすべて使用して実行されます。Accelerateには、2つのステップで動作する便利なCLIが付属しています：

accelerate config

これにより、セットアップに関する簡単なアンケートが表示され、トレーニングコマンドのデフォルト値を編集できる設定ファイルが作成されます。次に

accelerate launch path_to_script.py --args_to_the_script

これにより、デフォルトを使用してトレーニングスクリプトが起動されます。必要なすべての引数をトレーニングスクリプトに提供する必要があるだけです。

さらに素晴らしいランチャーにするために、SageMakerを使用してAWSインスタンスを生成することもできます。詳細は、このガイドを参照してください！

参加方法

始めるには、単にpip install accelerateを実行するか、より多くのインストールオプションについてはドキュメントを参照してください。

Accelerateは完全なオープンソースプロジェクトであり、GitHubで入手できます。ドキュメントを参照したり、基本的な例をざっと見たりしてください。問題やサポートしてほしい機能がある場合は、お知らせください。質問はフォーラムをチェックしてください！

より複雑な状況の例については、公式のTransformersの例を参照してください。各フォルダには、Accelerateライブラリを活用したrun_task_no_trainer.pyが含まれています！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!