「Pantsを使用してMachine LearningのMonorepoを整理する」

Organizing Machine Learning Monorepo using Pants

MLOps

MLワークフロー管理の効率化

プロジェクト間でユーティリティコードの断片をコピー&ペーストしたことがありますか?それにより、同じコードの複数のバージョンが異なるリポジトリに存在することになりましたか?または、データを保存するGCPバケットの名前が更新された後、数十のプロジェクトにプルリクエストを作成する必要がありましたか?

上記のような状況は、MLチームでは非常に頻繁に発生し、その結果は、単一の開発者の迷惑からコードを必要なように出荷することができないチームの無力化まで様々です。幸いなことに、それには対処する方法があります。

まず、Googleなどの主要なテック企業で広く採用されているモノリポスの世界に飛び込んでみましょう。モノリポスは、いくつかの欠点があるにもかかわらず、複雑な機械学習エコシステムを管理するための魅力的な選択肢となる、多くの利点を提供しています。

モノリポスの利点と欠点について簡単に議論し、なぜそれが機械学習チームにとって優れたアーキテクチャの選択肢であるかを調べ、ビッグテックがそれをどのように使用しているかをのぞいてみましょう。最後に、パンツビルドシステムの力を活用して、機械学習モノリポを堅牢なCI/CDビルドシステムに組織する方法を見ていきます。

さあ、MLプロジェクト管理を効率化するための旅に出発しましょう。

この記事は、neptune.aiブログで最初に公開されました。

モノリポとは何ですか?

Machine Learning Monorepo. Image by the author, via neptune.ai.

モノリポ(モノリシックリポジトリの略)は、多数のプロジェクトのコードが同じリポジトリに格納されるソフトウェア開発戦略です。このアイデアは、様々なプログラミング言語で書かれた全社コードが一緒に保存されるという広義のもの(Googleと言った誰かが言ったのではありませんか?)から、小規模なチームによって開発されたいくつかのPythonプロジェクトが1つのリポジトリに統合されるという狭義のものまで、幅広いものとなります。

このブログ記事では、機械学習コードを保存するリポジトリに焦点を当てています。

モノリポ vs. ポリリポ

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

「私たちの10の最大のAIの瞬間」

過去25年間の私たちのトップ10のAIの瞬間をまとめました

AIニュース

「AppleとGoogle、ChatGPTを年間アプリに見落とす」

驚くべき事態の中、テックジャイアントのAppleとGoogleは通常のパターンから逸脱し、それぞれの「年間最優秀アプリ」を選びま...

データサイエンス

「LLMの幻覚の理解と軽減」

最近、大型言語モデル(LLM)は、ユーザーのプロンプトに対して非常に流暢で説得力のある応答を生成するなど、印象的かつ増大...

AIテクノロジー

ピカ1.0:ビデオ作成のための新しいAIモデル

世界中で生成AIに魅了されているPikaは、AIを活用した動画作成に特化したスタートアップで、Lightspeed Venture Partnersが主...

AIテクノロジー

6つのGenAIポッドキャスト、聴くべきです

はじめに 急速に進化する 人工知能(AI)の世界において、生成AI(GenAI)の領域は魅力的でダイナミックな分野として注目され...

AI研究

タイタン向けのOpenAIのミニAIコマンド:スーパーアライメントの解読!

AI(人工知能)の超人型人工知能(AI)への迫り来る課題に取り組むため、OpenAIが画期的な研究方向、つまり弱から強の汎化を...