「クラスターに SLURM ジョブを送信する方法」

Sending SLURM jobs to clusters

SLURMジョブをクラスタに送信する方法についてのチュートリアル、特にディープラーニングとデータサイエンスについて

Unsplashのimgixによる写真

Google Colabの無料GPUを使用してディープラーニングモデルをトレーニングすることに慣れていますが、クラスタのパワーを利用し、それを行う方法がわからない場合はどうすればよいでしょうか? 正しい場所にいます! 🚀

ケンブリッジ大学の神経科学の研究インターンシップ中、私はコンピュータビジョンのタスク用に大規模なモデルをトレーニングしていましたが、Googleが提供する無料のGPUでは不十分であり、ローカルクラスタを使用することにしました。

しかし、非常に少ないドキュメントが利用可能であり、他の人々のスクリプトを尋ねてそれらを理解しようとしました。それに加えて、自分にとって有用だったものをいくつかまとめました。今では基本的なPythonスクリプトを実行するために必要なものをすべてまとめました。このガイドは私がそこにいた当時に持っていたかったものです。

典型的な機械学習のユースケース

例えば、500の異なるクラスと高解像度の写真で鳥の分類器をトレーニングしたいとします。これはGoogle Colabでは実行できません。

まず最初にする必要があるのは、ディープラーニングモデルのトレーニングスクリプトを準備することです。このスクリプトには、データセットの読み込み、ニューラルネットワークのアーキテクチャの定義、トレーニングループの設定に必要なコードが含まれている必要があります。

このスクリプトをターミナルから実行できるようにする必要があります。

例えば、train_bird_classifier.pyというスクリプトがあるとします。次のように実行できるはずです:

python train_bird_classifier.py

このスクリプトは次のようになるかもしれません:

# train_bird_classifier.pyimport torchfrom torch.utils.data import DataLoader# 必要な関数、モデル、変換がさまざまなファイルに定義されていると仮定します。from utils import build_model, BirdDataset, collate_fn, train_modelfrom transformations import train_transforms, test_transformsdef main():    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")    # データセットとデータローダーのセットアップ    train_dataset = BirdDataset('data/train/', transform=train_transforms)    train_loader =…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIテクノロジー

「LXTのテクノロジーバイスプレジデント、アムル・ヌール・エルディン - インタビューシリーズ」

アムル・ヌール・エルディンは、LXTのテクノロジー担当副社長ですアムルは、自動音声認識(ASR)の文脈での音声/音響処理と機...

データサイエンス

「2023年にデータサイエンスFAANGの仕事をゲットする方法は?」

データサイエンスは非常に求められる分野となり、FAANG(Facebook、Amazon、Apple、Netflix、Google)企業での就職は大きな成...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

機械学習

もし芸術が私たちの人間性を表現する方法であるなら、人工知能はどこに適合するのでしょうか?

MITのポストドクターであるジヴ・エプスタイン氏(SM '19、PhD '23)は、芸術やその他のメディアを作成するために生成的AIを...

人工知能

「15Rockの共同創業者兼CEO、ガウタム・バクシ氏によるインタビューシリーズ」

「ガウタム・バクシは、気候リスク管理とアドバイザリーサービスのグローバルリーダーである15Rockの共同創設者兼CEOですガウ...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...