「コンダ遅すぎ? マンバを試してみて!」

「コンダ遅すぎ? マンバを試してみて!」

レトロなパッケージ配達。写真:Charlie M、出典:Unsplash

いずれは、すべてのデータサイエンティストや機械学習エンジニアは、パッケージマネージャーと環境に出会うでしょう。環境にはプロジェクトコードの実行に必要なライブラリが含まれています。開発者は同じマシン上で複数の環境を作成することができ、異なるプロジェクトのために異なる環境を維持することが可能です。ソフトウェアはシステム全体にインストールされるのではなく、環境内に含まれます。

パッケージマネージャーはソフトウェアライブラリの配布に使用されます。人気のあるパッケージマネージャーにはconda、pip、mambaがあります。

mamba をチェックする価値は絶対にあります。mamba を使用すると、conda に比べて環境を10倍速くインストールすることができました!

この記事では、この高速化方法を紹介します。以下の内容について説明します:

  • 環境のセットアップ方法
  • conda および mamba パッケージと環境マネージャー
  • 速度の比較
  • libmamba: conda 内での mamba の速度アップ?

ソフトウェア環境

ソフトウェア環境ファイルを維持することで、コードは再現可能であり、異なるプラットフォームで実行することができます。機械学習プロジェクトでは、必要なパッケージとそのバージョン番号のリストを常に含めるべきです。モデルを他の開発者に渡すか、顧客に出荷する場合、彼らはローカルで環境を再現できます。

以下は、私の GitHub リポジトリの1つから取得したサンプル環境ファイルの例です(https://github.com/crlna16/ai4foodsecurity):

name: ai4foodsecuritychannels:  - conda-forge  - defaults  - pytorch  - nvidiadependencies:  - pandas==1.0.1  - geopandas==0.8.2  - rasterio==1.1.8  - matplotlib==3.3.2  - tensorboard==2.4.0  - sentinelhub==3.3.2  - pytorch==1.9.0  - torchvision==0.10.0  - numpy==1.19.5  - sh==1.14.2  - radiant-mlhub==0.3.0  - ipykernel=5.3.4  - 'cudatoolkit=11.1'

このようなファイルから、パッケージ管理システムを使用して環境を作成することができます。

パッケージ管理システム

環境を作成し、パッケージをインストールするためのさまざまな方法があります。私たちは…に焦点を合わせます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more