2023年の機械学習研究におけるトップのデータバージョン管理ツール

2023年のトップなデータバージョン管理ツール

生産に使用されるすべてのシステムはバージョン管理する必要があります。ユーザーが最新のデータにアクセスできる単一の場所です。特に多くのユーザーが同時に変更を加えるリソースには監査トレイルを作成する必要があります。

チーム全員が同じページにいることを確保するために、バージョン管理システムが担当しています。それにより、チーム全員が同時に同じプロジェクトで協力し、ファイルの最新バージョンで作業していることが保証されます。適切なツールがあれば、このタスクを迅速に完了することができます！

信頼性のあるデータバージョン管理方法を採用すると、一貫性のあるデータセットとすべての研究の完全なアーカイブを持つことができます。データバージョニングソリューションは、再現性、トレーサビリティ、およびMLモデルの履歴に関心がある場合、ワークフローに必須です。

• 「FathomNetをご紹介します：人工知能と機械学習アルゴリズムを使用して、私たちの海洋とその生物の理解のために視覚データの遅れを処理するためのオープンソースの画像データベース」
• 中国の研究者たちは、データプライバシーを保護しながらスクリーニングを改善するために、フェデレーテッドラーニング（FL）に基づく新しいμXRD画像スクリーニング方法を提案しました
• 「2023年のトップデータウェアハウジングツール」

データセットやモデルのハッシュなどのオブジェクトのコピーを取得し、区別して比較するために使用できるデータバージョンが頻繁にメタデータ管理ソリューションに記録されるようにすると、モデルのトレーニングがバージョン管理され、繰り返し可能になります。

さあ、コードの各コンポーネントを追跡できる最高のデータバージョン管理ツールを調べてみましょう。

Git LFS

Git LFSプロジェクトの使用は制限されていません。Gitは、GitHub.comやGitHub Enterpriseなどのリモートサーバーに大きなファイルの内容を保存し、大きなファイルをテキストポインターで置き換えます。音声サンプル、映画、データベース、写真など、置き換えられるファイルの種類には大きなファイルが含まれます。

Gitを使用して大規模なファイルリポジトリを迅速にクローンして取得したり、外部ストレージを使用してGitリポジトリでより多くのファイルをホストしたり、数GBの大きさの大きなファイルをバージョン管理することができます。データの取り扱いにおいては比較的シンプルな解決策です。他のツールキット、ストレージシステム、スクリプトは必要ありません。ダウンロードするデータ量を制限します。これにより、大きなファイルのコピーがリポジトリから取得するよりも速くなります。ポイントはLFSを指し、より軽い素材で作られています。

LakeFS

LakeFSは、S3またはGCSにデータを格納するオープンソースのデータバージョニングソリューションであり、Gitに似たブランチングおよびコミット方法をスケーラブルに実装しています。このブランチング方法により、別々のブランチで変更を可能にし、アトミックかつ即座に作成、マージ、およびロールバックできるようにすることで、データレイクをACID準拠にします。

LakeFSを使用すると、繰り返し可能でアトミックなデータレイクの活動を開発することができます。これは新しいものですが、真剣に取り組む必要があります。Gitのようなブランチングとバージョン管理の方法を使用してデータレイクとやり取りし、ペタバイト単位のデータをスケーラブルにチェックできます。

DVC

Data Version Controlは、データサイエンスや機械学習のアプリケーションに適したアクセス可能なデータバージョニングソリューションです。このアプリケーションを使用してパイプラインを任意の言語で定義することができます。

DVCは、その名前が示すように、データバージョニングに特化しているわけではありません。このツールは、大きなファイル、データセット、機械学習モデル、コードなどを管理することで、機械学習モデルを共有可能かつ再現可能にします。さらに、チームがパイプラインと機械学習モデルを管理しやすくします。このアプリケーションは、迅速に設定できる簡単なコマンドラインを提供することで、Gitの例にならっています。

最後に、DVCはチームのモデルの再現性と一貫性を向上させるのに役立ちます。コードの複雑なファイルの接尾辞やコメントではなく、Gitのブランチを使用して新しいアイデアをテストします。旅行中にペーパーや鉛筆ではなく、自動的なメトリックトラッキングを使用します。

プッシュ/プルコマンドを使用して機械学習モデル、データ、およびコードの一貫したバンドルを製品環境、リモートマシン、または同僚のデスクトップに転送するためのアドホックなスクリプトではなく使用します。

DeltaLake

DeltaLakeというオープンソースのストレージレイヤーにより、データレイクの信頼性が向上します。Delta Lakeは、バッチおよびストリーミングデータ処理をサポートするだけでなく、スケーラブルなメタデータ管理も提供します。現在のデータレイクに基づいており、Apache SparkのAPIを使用します。ビジネスにおけるセキュアなデータ共有のための最初のオープンプロトコルであるDelta Sharingにより、他の企業とのデータの交換が容易になります。

Delta Lakeのアーキテクチャは、バッチおよびストリームデータを読み取ることができるアーキテクチャです。Delta Lakeはペタバイト単位のデータを簡単に処理できます。メタデータはデータと同じ方法で保存され、Describe Detailメソッドを使用してアクセスできます。

Deltaを使用すると、upsertsが簡単に行えます。SQLのマージと同様に、これらのupsertsまたはマージはDeltaテーブルに行われます。これにより、データの編集、挿入、削除、および別のデータフレームからのデータの統合が可能になります。

Dolt

Doltは、gitリポジトリと同様に機能するSQLデータベースです。フォーク、クローン、ブランチ、マージ、プッシュ、プルなどが可能です。Doltは、データと構造を同時に変更することで、バージョン管理データベースのユーザーエクスペリエンスを向上させることができます。

これは、あなたと同僚とのチームワークにとって素晴らしいツールです。Doltでは、他のMySQLデータベースと同様に、SQLコマンドを使用してクエリを実行したりデータを変更したりすることができます。

Doltはデータのバージョニングにおいて他のシステムとは異なる存在です。Doltはデータベースです。現在はまだ開発初期の段階ですが、GitとMySQLとの完全な統合が近いうちに実現される予定です。

Doltを使用すると、Gitで使用しているコマンドを使用できます。Gitを使用してファイルバージョンを管理し、Doltを使用してCSVファイルからテーブルをインポートし、変更をコミットし、リモートに公開し、コマンドラインインタフェースを使用してチームメイトの変更を組み合わせることができます。

Pachyderm

Pachydermは、データサイエンスのための堅牢な無料のバージョン管理システムです。Pachyderm Enterpriseは、非常に安全な環境での広範なチームワークのための強力なデータサイエンスプラットフォームです。

リストにあるデータサイエンスプラットフォームの一つであるPachydermは、多数の機械学習モデルを1つの場所で追跡、表示、比較することができます。協力的なインターフェースと機能を備えており、実験のトラッキング、モデルの登録、モデルのモニタリングなどを行うことができます。Pachydermは、Dockerコンテナを使用して実行環境をパッケージ化します。これにより、同じ結果を簡単に再現することができます。

バージョン管理されたデータとDockerの組み合わせにより、データサイエンティストやDevOpsチームはモデルを自信を持って展開することができます。実用的なストレージシステムはペタバイトの組織化されたデータと非構造化データを保持できますが、ストレージ費用は最小限です。

ファイルベースのバージョニングは、パイプラインの各フェーズで中間出力を含むすべてのデータやアーティファクトの完全な監査トレイルを提供します。これらの柱は、多くのツールの機能の基盤となっており、チームが最大限に活用できるようにしています。

Neptune

MLOpsスタックの重要な要素であるMLメタデータストアは、モデル構築のメタデータを管理します。Neptuneは、各MLOpsワークフローのための統合されたメタデータストアとして機能します。

数千の機械学習モデルを1か所で追跡、表示、比較することができます。実験のトラッキング、モデルの登録、モデルのモニタリングなどの機能を備えています。ハイパーパラメータのチューニングやモデルのトレーニングに使用されるさまざまなツールやライブラリを統合しています。Neptuneの登録はクレジットカードを使用せずに可能です。Gmailアカウントで代替することもできます。

Mercurial

使いやすいインターフェースを持つ分散型ソースコントロール管理ソリューションであるMercurial（Hg）は、無料かつオープンソースです。HgはPythonで作成されたプラットフォーム非依存のツールです。メンテナンスが不要で、非技術的な貢献者にも使いやすいガジェットです。強化されたセキュリティ機能を備えています。ただし、以前のコミットを編集できないため、変更管理機能が欠けています。

CVS

CVS（Concurrent Version System）を使用すると、複数のソースコードバージョンを管理することができます。プラットフォーム上の共有リポジトリを介してバージョンファイルを共有することで、チームでの作業が容易になります。CVSは他のプログラムとは異なり、ソースコードファイルの複数のコピーを作成しません。代わりに、変更を追跡しながらコードの1つのコピーのみを保持します。エラーを含むコミットを禁止するため、信頼性が高いです。コードレビューは、コードに加えられた変更のみを記録するため、簡素化されます。

Lightrun

オープンソースのWebインターフェースとオブザーバビリティプラットフォームであるLightrunは、Gitのようなプラクティスを使用します。チームによって行われるすべての動きと変更が記録され、簡単に監査できます。リアルタイムおよびオンデマンドでアプリケーションにログ、分析、トレースを追加することで、どんなシナリオでもエラーを迅速に修正することができます。ブロックリスト、強化された認証メカニズム、暗号化通信チャネルなどの重要なセキュリティ機能を提供します。強力なオブザーバビリティ機能を備えています。アプリケーションとの連携が良く、ダウンタイムがゼロになります。デバッグ時間を大幅に短縮することができます。コマンドに基づいた簡単な手順です。

HelixCore

Perforceのバージョン管理プログラムはHelixCoreと呼ばれます。ソースコードやその他のデータの変更の追跡と管理を簡素化します。Streams機能を使用して構成変更をブランチし、マージします。HelixCoreは非常にスケーラブルであり、変更履歴を調べることが簡単です。ネイティブのコマンドラインツールが含まれています。外部エージェンシーとの統合が可能です。より良いセキュリティのための複数の認証とアクセス機能があります。

Liquibase

Liquibaseは、マイグレーションを利用し、変更ログの機能を使用してデータベースのバージョン管理を行うソリューションです。XMLベースの変更セット定義を使用して、さまざまなプラットフォームでデータベーススキーマを操作することができます。オープンソース版とプレミアム版の2つのバージョンが利用可能です。変更を元に戻すための特定のロールバックを許可します。さまざまなタイプのデータベースをサポートしています。SQL、XML、およびYAMLなど、さまざまな形式での更新の指定が可能です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!