「Pantsを使用してMachine LearningのMonorepoを整理する」

Organizing Machine Learning Monorepo using Pants

MLOps

MLワークフロー管理の効率化

プロジェクト間でユーティリティコードの断片をコピー＆ペーストしたことがありますか？それにより、同じコードの複数のバージョンが異なるリポジトリに存在することになりましたか？または、データを保存するGCPバケットの名前が更新された後、数十のプロジェクトにプルリクエストを作成する必要がありましたか？

上記のような状況は、MLチームでは非常に頻繁に発生し、その結果は、単一の開発者の迷惑からコードを必要なように出荷することができないチームの無力化まで様々です。幸いなことに、それには対処する方法があります。

まず、Googleなどの主要なテック企業で広く採用されているモノリポスの世界に飛び込んでみましょう。モノリポスは、いくつかの欠点があるにもかかわらず、複雑な機械学習エコシステムを管理するための魅力的な選択肢となる、多くの利点を提供しています。

• 「AVIS内部：Googleの新しい視覚情報検索LLM」
• 「言語の壁を乗り越える：アフリカの言語のためのAIツールの推進」
• 「機械学習 vs AI vs ディープラーニング vs ニューラルネットワーク：違いは何ですか？」

モノリポスの利点と欠点について簡単に議論し、なぜそれが機械学習チームにとって優れたアーキテクチャの選択肢であるかを調べ、ビッグテックがそれをどのように使用しているかをのぞいてみましょう。最後に、パンツビルドシステムの力を活用して、機械学習モノリポを堅牢なCI/CDビルドシステムに組織する方法を見ていきます。

さあ、MLプロジェクト管理を効率化するための旅に出発しましょう。

この記事は、neptune.aiブログで最初に公開されました。

モノリポとは何ですか？

モノリポ（モノリシックリポジトリの略）は、多数のプロジェクトのコードが同じリポジトリに格納されるソフトウェア開発戦略です。このアイデアは、様々なプログラミング言語で書かれた全社コードが一緒に保存されるという広義のもの（Googleと言った誰かが言ったのではありませんか？）から、小規模なチームによって開発されたいくつかのPythonプロジェクトが1つのリポジトリに統合されるという狭義のものまで、幅広いものとなります。

このブログ記事では、機械学習コードを保存するリポジトリに焦点を当てています。

モノリポ vs. ポリリポ

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!