「5つのステップでPyTorchを始めましょう」

「PyTorchを始めるための5つのステップ」

PyTorchとPyTorch Lightningの紹介

PyTorchは、Pythonに基づいて開発され、GPUアクセラレーションを最適化した人気のあるオープンソースの機械学習フレームワークです。2016年にMeta AIによって開発され、現在はLinux Foundationの一部となっています。PyTorchは、深層学習の研究や応用に広く使用されています。

他のフレームワークであるTensorFlowとは異なり、PyTorchは動的な計算グラフを使用しているため、より柔軟性とデバッグ能力を備えています。PyTorchの主な利点は次のとおりです。

ニューラルネットワークを構築するためのシンプルで直感的なPython API
GPU/TPUアクセラレーションへの広範なサポート
自動微分の組み込みサポート
分散トレーニングの機能
NumPyなどの他のPythonライブラリとの互換性

PyTorch Lightningは、PyTorchの上に構築された軽量なラッパーであり、研究者のワークフローやモデル開発のプロセスをさらに簡略化します。Lightningにより、データサイエンティストはボイラープレートのコードではなく、モデルの設計により集中することができます。Lightningの主な利点は次のとおりです。

PyTorchコードを整理するための構造を提供
トレーニングループのボイラープレートコードを処理
ハイパーパラメータのチューニングによる研究実験を加速
モデルのスケーリングとデプロイメントを簡素化

PyTorchのパワーと柔軟性をLightningの高レベルAPIと組み合わせることで、開発者は迅速にスケーラブルな深層学習システムを構築し、より速く反復することができます。

ステップ1：インストールとセットアップ

PyTorchとLightningを使用するためには、まずいくつかの必要条件をインストールする必要があります：

Python 3.6以上
Pipパッケージインストーラ
Nvidia GPUは、高速な演算を推奨します（CPUのみのセットアップも可能ですが、遅くなります）

PythonとPyTorchのインストール

データサイエンスとディープラーニングのワークロードにPython環境を設定するために、Anacondaの使用をおすすめします。以下の手順に従ってください：

OSに合わせてここからAnacondaをダウンロードしてインストールします
Conda環境を作成します（別のPython環境マネージャーを使用する場合もあります）：conda create -n pytorch python=3.8
環境をアクティベートします：conda activate pytorch
PyTorchをインストールします：conda install pytorch torchvision torchaudio -c pytorch

PyTorchが正しくインストールされていることを確認するために、Pythonで速度テストを実行します：

import torchx = torch.rand(3, 3)print(x)

これにより、ランダムな3×3テンソルが表示され、PyTorchが正常に動作していることが確認できます。

PyTorch Lightningのインストール

PyTorchがインストールされている状態で、pipを使用してLightningをインストールします：

pip install lightning

Lightningが正しく設定されていることを確認しましょう：

import lightningprint(lightning.__version__)

これにより、バージョン番号が表示されます（例：0.6.0）。

これで、深層学習モデルの構築を開始する準備が整いました。

ステップ2：PyTorchを使用したモデルの構築

PyTorchは、NumPy配列と同様にテンソルを使用して、そのコアデータ構造としています。テンソルはGPU上で演算が可能であり、ニューラルネットワークの構築のために自動微分をサポートしています。

画像分類のためのシンプルなニューラルネットワークを定義しましょう：

import torch
import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
    
    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = torch.flatten(x, 1)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()

これは、10クラスの分類に使用するための2つの畳み込み層と3つの全結合層を持つ畳み込みニューラルネットワークを定義しています。 forward() メソッドはデータがネットワークを通過する方法を定義します。

このモデルをライトニングを使ってサンプルデータでトレーニングすることができます。

ステップ3：ライトニングを使ってモデルをトレーニングする

ライトニングは PyTorch のモデルコードとトレーニングのループのひな形をカプセル化する LightningModule クラスを提供しています。モデルを変換しましょう。

import lightning as pl

class LitModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.model = Net()
    
    def forward(self, x):
        return self.model(x)
    
    def training_step(self, batch, batch_idx):
        x, y = batch
        y_hat = self.forward(x)
        loss = F.cross_entropy(y_hat, y)
        return loss
    
    def configure_optimizers(self):
        return torch.optim.Adam(self.parameters(), lr=0.02)

model = LitModel()

training_step() メソッドは順伝搬と損失の計算を定義します。学習率0.02の Adam オプティマイザで設定します。

これで簡単にこのモデルをトレーニングできます：

trainer = pl.Trainer()
trainer.fit(model, train_dataloader, val_dataloader)

トレーナーはエポックのループ、バリデーション、ログの処理を自動的に行います。テストデータでモデルを評価することもできます。

result = trainer.test(model, test_dataloader)
print(result)

比較のために、PyTorch の純粋なコードでのネットワークとトレーニングループを示します：

import torch
import torch.nn.functional as F
from torch.utils.data import DataLoader

# Net クラスと train_dataloader, val_dataloader, test_dataloader が定義されているとします
class Net(torch.nn.Module):
    # ネットワークのアーキテクチャをここに定義します
    pass

# モデルとオプティマイザを初期化
model = Net()
optimizer = torch.optim.Adam(model.parameters(), lr=0.02)

# トレーニングループ
for epoch in range(10):  # エポック数
    for batch_idx, (x, y) in enumerate(train_dataloader):
        optimizer.zero_grad()
        y_hat = model(x)
        loss = F.cross_entropy(y_hat, y)
        loss.backward()
        optimizer.step()

# バリデーションループ
model.eval()
with torch.no_grad():
    for x, y in val_dataloader:
        y_hat = model(x)

# テストループと評価
model.eval()
test_loss = 0
with torch.no_grad():
    for x, y in test_dataloader:
        y_hat = model(x)
        test_loss += F.cross_entropy(y_hat, y, reduction='sum').item()
test_loss /= len(test_dataloader.dataset)
print(f"テストの損失： {test_loss}")

ライトニングを使うと、PyTorch のモデル開発が非常に迅速で直感的になります。

ステップ4：高度なトピック

ライトニングはハイパーパラメータのチューニング、過学習の防止、モデル管理など、多くの組み込み機能を提供しています。

ハイパーパラメータのチューニング

Lightningのtunerモジュールを使用して学習率などのハイパーパラメータを最適化することができます：

tuner = pl.Tuner(trainer)tuner.fit(model, train_dataloader)print(tuner.results)

これにより、ハイパーパラメータ空間上でベイズ探索が実行されます。

過学習の処理

ドロップアウト層や早期終了などの戦略を使用することで、過学習を軽減することができます：

model = LitModel()model.add_module('dropout', nn.Dropout(0.2)) # 正則化trainer = pl.Trainer(early_stop_callback=True) # 早期終了

モデルの保存と読み込み

Lightningでは、モデルの保存と再読み込みが簡単に行えます：

# 保存trainer.save_checkpoint("model.ckpt") # 読み込みmodel = LitModel.load_from_checkpoint(checkpoint_path="model.ckpt")

これにより、完全なモデルの状態とハイパーパラメータが保持されます。

ステップ5：PyTorchとPyTorch Lightningの比較

PyTorchとPyTorch Lightningは、どちらも深層学習の強力なライブラリですが、異なる目的を持ち、ユニークな機能を提供しています。PyTorchは、深層学習モデルの設計と実装の基盤のブロックを提供しますが、PyTorch Lightningはモデルトレーニングの繰り返し部分を簡略化し、開発プロセスを加速することを目指しています。

主な違い

以下は、PyTorchとPyTorch Lightningの主な違いの要約です：

機能	PyTorch	PyTorch Lightning
トレーニングループ	手動でコーディング	自動化されています
ボイラープレートコード	必要です	最小限です
ハイパーパラメータのチューニング	手動でセットアップが必要	組み込みサポートがあります
分散トレーニング	利用可能ですが、手動でセットアップが必要	自動化されています
コードの組織化	特定の構造はありません	モジュラーな設計を推奨します
モデルの保存と読み込み	カスタム実装が必要です	チェックポイントで簡略化されています
デバッグ	高度ですが手動で行います	組み込みのログで簡単に行えます
GPU/TPUサポート	利用可能です	簡単なセットアップです

柔軟性 vs 便利さ

PyTorchは、特に動的計算グラフによる柔軟性で有名であり、研究や実験には優れています。ただし、この柔軟性は、トレーニングループ、分散トレーニング、およびハイパーパラメータのチューニングなど、より多くのボイラープレートコードの記述を必要とすることがよくあります。一方、PyTorch Lightningはこのボイラープレートを抽象化してくれますが、必要に応じて下位のPyTorch APIに完全にカスタマイズしてアクセスすることができます。

開発のスピード

プロジェクトをゼロから始める場合や複雑な実験を行う場合、PyTorch Lightningは多くの時間を節約することができます。LightningModuleクラスは訓練プロセスを簡素化し、ログを自動化し、分散トレーニングを簡素化することすら可能です。これにより、モデルのアーキテクチャに注力し、モデルの訓練と検証の繰り返し的な側面に時間を費やす必要が少なくなります。

結論

要約すると、PyTorchはより細かい制御が可能であり、その詳細レベルが必要な研究者にとって優れた選択肢です。しかし、PyTorch Lightningは研究から製品化までのサイクルをスムーズかつ迅速にするために設計されており、PyTorchが提供するパワーと柔軟性を損なうことなく、さらに簡略化します。PyTorchまたはPyTorch Lightningを選択するかどうかは、特定のニーズに依存しますが、良いニュースは、両者の間を簡単に切り替えたり、プロジェクトの異なる部分において両者を併用することができるということです。

今後の展望

この記事では、深層学習のためのPyTorchとPyTorch Lightningの基礎について説明しました：

PyTorchはニューラルネットワークを構築するための強力で柔軟なフレームワークを提供します
PyTorch Lightningは訓練とモデルの開発のワークフローを簡素化します
ハイパーパラメータの最適化やモデル管理のような重要な機能が、深層学習の研究を加速します

これらの基礎を身につけることで、CNN、RNN、GANなどの高度なモデルの構築と訓練を開始することができます。アクティブなオープンソースコミュニティでは、LightningのサポートやBoltといったコンポーネントと最適化ライブラリの提供も行われています。

ディープラーニングを楽しんでください！

Matthew Mayo (@mattmayo13)は、コンピューターサイエンスの修士号とデータマイニングの修了証を持っています。VoAGIの編集長として、Matthewは複雑なデータサイエンスコンセプトを理解しやすくすることを目指しています。彼の専門的な興味は、自然言語処理、機械学習アルゴリズム、および新興のAIの探索にあります。彼はデータサイエンスコミュニティでの知識の民主化という使命に駆られています。Matthewは6歳の時からコーディングをしています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Machine learning

Was this article helpful?

93 out of 132 found this helpful

「5つのステップでPyTorchを始めましょう」

PyTorchとPyTorch Lightningの紹介

ステップ1：インストールとセットアップ

PythonとPyTorchのインストール

PyTorch Lightningのインストール

ステップ2：PyTorchを使用したモデルの構築

ステップ3：ライトニングを使ってモデルをトレーニングする

ステップ4：高度なトピック

ハイパーパラメータのチューニング

過学習の処理

モデルの保存と読み込み

ステップ5：PyTorchとPyTorch Lightningの比較

主な違い

柔軟性 vs 便利さ

開発のスピード

結論

今後の展望

Was this article helpful?

「データサイエンスのトップ7の無料クラウドノートブック」

「5つの手順でGoogle Cloud Platformを始める」

機械学習

シンガポール国立大学の研究者たちは、ピクセルベースと潜在ベースのVDMを結びつけたハイブリッド人工知能モデルであるShow-1を提案しますこれはテキストからビデオを生成するものです

自分のドキュメントで春のAIとOpenAI GPTが有用になるようにRAGを作成する

MLがDevOpsと出会うとき：MLOpsの理解方法

「イーロン・マスク氏、中国での超知能の台頭に警鐘を鳴らす」と警告

「PyTorchでのSoft Nearest Neighbor Lossの実装方法」

UC Berkeleyの研究者たちは、ディープラーニングにおいて効率的なデータ圧縮とスパース化を実現するための新しいホワイトボックストランスフォーマーであるCRATEを提案しています