「クラスターに SLURM ジョブを送信する方法」

Sending SLURM jobs to clusters

SLURMジョブをクラスタに送信する方法についてのチュートリアル、特にディープラーニングとデータサイエンスについて

Unsplashのimgixによる写真

Google Colabの無料GPUを使用してディープラーニングモデルをトレーニングすることに慣れていますが、クラスタのパワーを利用し、それを行う方法がわからない場合はどうすればよいでしょうか? 正しい場所にいます! 🚀

ケンブリッジ大学の神経科学の研究インターンシップ中、私はコンピュータビジョンのタスク用に大規模なモデルをトレーニングしていましたが、Googleが提供する無料のGPUでは不十分であり、ローカルクラスタを使用することにしました。

しかし、非常に少ないドキュメントが利用可能であり、他の人々のスクリプトを尋ねてそれらを理解しようとしました。それに加えて、自分にとって有用だったものをいくつかまとめました。今では基本的なPythonスクリプトを実行するために必要なものをすべてまとめました。このガイドは私がそこにいた当時に持っていたかったものです。

典型的な機械学習のユースケース

例えば、500の異なるクラスと高解像度の写真で鳥の分類器をトレーニングしたいとします。これはGoogle Colabでは実行できません。

まず最初にする必要があるのは、ディープラーニングモデルのトレーニングスクリプトを準備することです。このスクリプトには、データセットの読み込み、ニューラルネットワークのアーキテクチャの定義、トレーニングループの設定に必要なコードが含まれている必要があります。

このスクリプトをターミナルから実行できるようにする必要があります。

例えば、train_bird_classifier.pyというスクリプトがあるとします。次のように実行できるはずです:

python train_bird_classifier.py

このスクリプトは次のようになるかもしれません:

# train_bird_classifier.pyimport torchfrom torch.utils.data import DataLoader# 必要な関数、モデル、変換がさまざまなファイルに定義されていると仮定します。from utils import build_model, BirdDataset, collate_fn, train_modelfrom transformations import train_transforms, test_transformsdef main():    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")    # データセットとデータローダーのセットアップ    train_dataset = BirdDataset('data/train/', transform=train_transforms)    train_loader =…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」

ジェームズ・エバンズは、CommandBarの創設者兼CEOであり、製品、マーケティング、顧客チームを支援するために設計されたAIパ...

AIニュース

Q&A:ブラジルの政治、アマゾンの人権、AIについてのGabriela Sá Pessoaの見解

ブラジルの社会正義のジャーナリストは、MIT国際研究センターのフェローです

データサイエンス

2023年にAmazonのデータサイエンティストになる方法は?

ほとんどのビジネスは現在、膨大な量のデータを生成し、編集し、管理しています。しかし、ほとんどのビジネスは、収集したデ...

人工知能

ピーター・マッキー、Sonarの開発者担当責任者-インタビューシリーズ

ピーター・マッキーはSonarのDeveloper Relationsの責任者です Sonarは、悪いコードの1兆ドルの課題を解決するプラットフォー...

人工知能

ディープAIの共同創業者兼CEO、ケビン・バラゴナ氏- インタビューシリーズ

ディープAIの創設者であるケビン・バラゴナは、10年以上の経験を持つプロのソフトウェアエンジニア兼製品開発者です彼の目標...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...