Search Results Neptune

RecList 2.0 オープンソースによるMLモデルの体系的なテストシステム

評価は複雑な問題です評価パイプラインの作成に関与するさまざまなコンポーネントを管理することはしばしば困難ですモデルがどこかにあって、それをロードし、...

ML MonorepoのPantsでの組織化

「プロジェクト間でユーティリティコードの一部をコピー＆ペーストしたことがありますか？その結果、同じコードの複数のバージョンが異なるリポジトリに存在することになりましたか？または、データを保存するGCPバケットの名前が更新された後、数十のプロジェクトにプルリクエストを行わなければなりませんでしたか？上記のような状況はあまりにも頻繁に発生します...」

「Stitch FixにおけるMLプラットフォーム構築からの学び」

この記事は元々、MLプラットフォームポッドキャストのエピソードであり、Piotr NiedźwiedźとAurimas GriciūnasがMLプラットフォームの専門家と一緒に、デザインの選択肢、ベストプラクティス、具体的なツールスタックの例、そして最高のMLプラットフォームの専門家からの実世界の学びについて話し合っていますこのエピソードでは、Stefan KrawczykがMLを構築する際に得た学びを共有しています...

MLOps

2023年の機械学習研究におけるトップのデータバージョン管理ツール

生産に使用されるすべてのシステムはバージョン管理する必要があります。ユーザーが最新のデータにアクセスできる単一の場所です。特に多くのユーザーが同時に変更を加えるリソースには監査トレイルを作成する必要があります。チーム全員が同じページにいることを確保するために、バージョン管理システムが担当しています。それにより、チーム全員が同時に同じプロジェクトで協力し、ファイルの最新バージョンで作業していることが保証されます。適切なツールがあれば、このタスクを迅速に完了することができます！信頼性のあるデータバージョン管理方法を採用すると、一貫性のあるデータセットとすべての研究の完全なアーカイブを持つことができます。データバージョニングソリューションは、再現性、トレーサビリティ、およびMLモデルの履歴に関心がある場合、ワークフローに必須です。データセットやモデルのハッシュなどのオブジェクトのコピーを取得し、区別して比較するために使用できるデータバージョンが頻繁にメタデータ管理ソリューションに記録されるようにすると、モデルのトレーニングがバージョン管理され、繰り返し可能になります。さあ、コードの各コンポーネントを追跡できる最高のデータバージョン管理ツールを調べてみましょう。 Git LFS Git LFSプロジェクトの使用は制限されていません。Gitは、GitHub.comやGitHub Enterpriseなどのリモートサーバーに大きなファイルの内容を保存し、大きなファイルをテキストポインターで置き換えます。音声サンプル、映画、データベース、写真など、置き換えられるファイルの種類には大きなファイルが含まれます。 Gitを使用して大規模なファイルリポジトリを迅速にクローンして取得したり、外部ストレージを使用してGitリポジトリでより多くのファイルをホストしたり、数GBの大きさの大きなファイルをバージョン管理することができます。データの取り扱いにおいては比較的シンプルな解決策です。他のツールキット、ストレージシステム、スクリプトは必要ありません。ダウンロードするデータ量を制限します。これにより、大きなファイルのコピーがリポジトリから取得するよりも速くなります。ポイントはLFSを指し、より軽い素材で作られています。 LakeFS LakeFSは、S3またはGCSにデータを格納するオープンソースのデータバージョニングソリューションであり、Gitに似たブランチングおよびコミット方法をスケーラブルに実装しています。このブランチング方法により、別々のブランチで変更を可能にし、アトミックかつ即座に作成、マージ、およびロールバックできるようにすることで、データレイクをACID準拠にします。 LakeFSを使用すると、繰り返し可能でアトミックなデータレイクの活動を開発することができます。これは新しいものですが、真剣に取り組む必要があります。Gitのようなブランチングとバージョン管理の方法を使用してデータレイクとやり取りし、ペタバイト単位のデータをスケーラブルにチェックできます。 DVC Data Version Controlは、データサイエンスや機械学習のアプリケーションに適したアクセス可能なデータバージョニングソリューションです。このアプリケーションを使用してパイプラインを任意の言語で定義することができます。 DVCは、その名前が示すように、データバージョニングに特化しているわけではありません。このツールは、大きなファイル、データセット、機械学習モデル、コードなどを管理することで、機械学習モデルを共有可能かつ再現可能にします。さらに、チームがパイプラインと機械学習モデルを管理しやすくします。このアプリケーションは、迅速に設定できる簡単なコマンドラインを提供することで、Gitの例にならっています。最後に、DVCはチームのモデルの再現性と一貫性を向上させるのに役立ちます。コードの複雑なファイルの接尾辞やコメントではなく、Gitのブランチを使用して新しいアイデアをテストします。旅行中にペーパーや鉛筆ではなく、自動的なメトリックトラッキングを使用します。プッシュ/プルコマンドを使用して機械学習モデル、データ、およびコードの一貫したバンドルを製品環境、リモートマシン、または同僚のデスクトップに転送するためのアドホックなスクリプトではなく使用します。 DeltaLake DeltaLakeというオープンソースのストレージレイヤーにより、データレイクの信頼性が向上します。Delta Lakeは、バッチおよびストリーミングデータ処理をサポートするだけでなく、スケーラブルなメタデータ管理も提供します。現在のデータレイクに基づいており、Apache…

機械学習の簡素化と標準化のためのトップツール

人工知能と機械学習は、技術の進歩によって世界中のさまざまな分野に恩恵をもたらす革新的なリーダーです。競争力を保つために、どのツールを選ぶかは難しい決断です。機械学習ツールを選ぶことは、あなたの未来を選ぶことです。人工知能の分野では、すべてが非常に速く進化しているため、「昔の犬、昔の技」を守ることと、「昨日作ったばかり」のバランスを保つことが重要です。機械学習ツールの数は増え続けており、それに伴い、それらを評価し、最適なものを選ぶ方法を理解する必要があります。この記事では、いくつかのよく知られた機械学習ツールを紹介します。このレビューでは、MLライブラリ、フレームワーク、プラットフォームについて説明します。 Hermione 最新のオープンソースライブラリであるHermioneは、データサイエンティストがより整理されたスクリプトを簡単かつ迅速に設定できるようにします。また、Hermioneはデータビュー、テキストベクトル化、列の正規化と非正規化など、日常の活動を支援するためのトピックに関するクラスを提供しています。Hermioneを使用する場合、手順に従う必要があります。あとは彼女が魔法のように処理してくれます。 Hydra HydraというオープンソースのPythonフレームワークは、研究やその他の目的のために複雑なアプリを作成することを容易にします。Hydraは、多くの頭を持つヒドラのように多くの関連タスクを管理する能力を指します。主な機能は、階層的な構成を動的に作成し、構成ファイルとコマンドラインを介してそれをオーバーライドする能力です。もう一つの機能は、動的なコマンドラインのタブ補完です。さまざまなソースから階層的に構成でき、構成はコマンドラインから指定または変更できます。また、単一のコマンドでリモートまたはローカルでプログラムを起動し、さまざまな引数で複数のタスクを実行することもできます。 Koalas Koalasプロジェクトは、巨大なデータ量で作業するデータサイエンティストの生産性を向上させるために、Apache Sparkの上にpandas DataFrame APIを統合しています。 pandasは（シングルノードの）Python DataFrameの事実上の標準実装であり、Sparkは大規模なデータ処理の事実上の標準です。pandasに慣れている場合、このパッケージを使用してすぐにSparkを使用し始め、学習曲線を回避することができます。単一のコードベースはSparkとPandasに互換性があります（テスト、より小さいデータセット）（分散データセット）。 Ludwig Ludwigは、機械学習パイプラインを定義するための明確で柔軟なデータ駆動型の設定アプローチを提供する宣言的な機械学習フレームワークです。Linux Foundation AI & DataがホストするLudwigは、さまざまなAI活動に使用することができます。入力と出力の特徴と適切なデータ型は設定で宣言されます。ユーザーは、前処理、エンコード、デコードの追加のパラメータを指定したり、事前学習モデルからデータをロードしたり、内部モデルアーキテクチャを構築したり、トレーニングパラメータを調整したり、ハイパーパラメータ最適化を実行したりするための追加のパラメータを指定できます。 Ludwigは、設定の明示的なパラメータを使用してエンドツーエンドの機械学習パイプラインを自動的に作成し、設定されていない設定にはスマートなデフォルト値を使用します。…

「トップの画像処理Pythonライブラリ」

コンピュータビジョンは、デジタル写真、ビデオ、その他の視覚的な入力から有用な情報を抽出し、そのデータに基づいてアクションを起動したり推奨を行ったりするための人工知能（AI）の一分野です。この情報を抽出するためには、画像処理という画像を操作、編集、または操作してその特徴を抽出する現象が必要です。この記事では、Pythonで使用できるいくつかの便利な画像処理ライブラリについて説明します。 1. OpenCV OpenCVは、画像処理とコンピュータビジョンアプリケーションのための最も速く、広く使用されているライブラリの1つです。Githubでサポートされており、1000人以上の貢献者がライブラリの開発に寄与しています。1999年にIntelによって作成され、C、C++、Java、そして最も人気のあるPythonなど、多くの言語をサポートしています。OpenCVは、顔認識、物体検出、画像セグメンテーションなどのモデルを構築するための約2500のアルゴリズムを提供しています。 2. Mahotas Mahotasは、閾値処理、畳み込み、形態学的処理などの高度な機能を提供する画像処理とコンピュータビジョンのための高度なPythonライブラリです。C++で書かれており、高速です。 3. SimpleCV SimpleCVは、OpenCVのより簡単なバージョンと考えることができます。Pythonのフレームワークです。色空間、バッファ管理、固有値などの多くの画像処理の前提条件や概念を必要としません。そのため、初心者にも適しています。 4. Pillow Pillowは、Python Imaging Library（PIL）に基づいています。このライブラリは、広範なファイル形式のサポート、効率的な内部表現、かなり強力な画像処理機能を提供します。ポイント操作、フィルタリング、操作など、さまざまな画像処理活動を包括しています。 5. Scikit-Image Scikit-Imageは、画像処理のためのオープンソースのPythonライブラリです。元の画像を変換することにより、NumPy配列を画像オブジェクトとして使用します。NumPyはCプログラミングで構築されているため、画像処理に非常に高速で効果的なライブラリです。フィルタリング、モルフォロジー、特徴検出、セグメンテーション、幾何学的変換、色空間操作などのアルゴリズムが含まれています。 6. SimplelTK SimpleITKは、多次元画像解析を提供するオープンソースのライブラリです。画像を配列として考えるのではなく、空間内の点の集合として扱います。Python、R、Java、C＃、Lua、Ruby、TCL、C ++などの言語をサポートしています。 7. SciPy…

「機械学習モデルのログと管理のためのトップツール」

機械学習において、実験トラッキングはすべての実験メタデータを1つの場所（データベースまたはリポジトリ）に保存します。モデルのハイパーパラメータ、性能の測定値、実行ログ、モデルのアーティファクト、データのアーティファクトなど、すべてが含まれています。実験ログの実装方法はさまざまです。スプレッドシートは1つのオプションです（もはや使用されていません！）、またはテストの追跡にGitHubを使用することもできます。機械学習の実験を追跡することは常にMLの開発において重要なステップでしたが、以前は手間のかかる、遅くてエラーが発生しやすい手続きでした。近年、機械学習の実験管理とトラッキングのための現代的なソリューションの市場が発展し増加しました。現在、さまざまな選択肢があります。オープンソースまたはエンタープライズソリューション、スタンドアロンの実験トラッキングフレームワーク、エンドツーエンドのプラットフォームなど、適切なツールを必ず見つけることができます。 MLFlowのようなオープンソースのライブラリやフレームワークを利用するか、Weights & Biases、Cometなどのこれらの機能を備えたエンタープライズツールプラットフォームを購入することが、実験ログを行うための最も簡単な方法です。この記事では、データサイエンティストにとって非常に役立つ実験トラッキングツールをいくつか紹介しています。 MLFlow MLflowは、実験、再現性、デプロイメント、および中央モデルレジストリを含む機械学習ライフサイクルを管理するオープンソースプラットフォームです。複数の機械学習ライブラリからモデルを異なるプラットフォームに配布およびサービングする（MLflowモデルレジストリ）機能も提供しています。MLflowは現在、MLコードを再利用可能で再現可能な形式でパッケージングする機能（MLflowプロジェクト）、パラメータと結果を記録および比較するための実験のトラッキング機能（MLflowトラッキング）をサポートしています。さらに、モデルのバージョン管理、ステージ遷移、注釈など、MLflowモデルのライフサイクル全体を共同で管理するための中央モデルストアも提供しています。 Weights & Biases Weights & Biasesは、実験トラッキング、データセットのバージョン管理、およびモデルの管理により、より速くより優れたモデルを生成するためのMLOpsプラットフォームです。Weights & Biasesはプライベートインフラストラクチャにインストールすることも、クラウドで利用することもできます。 Comet Cometは、現在のインフラストラクチャとツールと連携してモデルを管理、可視化、最適化する機械学習プラットフォームです。コード、ハイパーパラメータ、メトリックを自動的に追跡するために、スクリプトまたはノートブックに2行のコードを追加するだけで使用できます。 Cometは、ML実験の全ライフサイクルのためのプラットフォームです。コード、ハイパーパラメータ、メトリック、予測、依存関係、システムメトリックを比較してモデルのパフォーマンスの違いを分析することができます。モデルはモデルレジストリに登録して、エンジニアリングへの簡単な引き継ぎが可能であり、トレーニングランからデプロイまでの完全な監査トレイルで使用中のモデルを把握することができます。 Arize AI Arize AIは、MLチームがプロダクションでより成功したAIを提供および維持するための機械学習可観測性プラットフォームです。Arizeの自動モデルモニタリングおよび可観測性プラットフォームにより、MLチームは問題が発生したときに問題を検出し、なぜ問題が発生したかをトラブルシューティングし、モデルのパフォーマンスを管理することができます。コンピュータビジョンおよび自然言語処理モデルの非構造化データの埋め込みを監視することで、チームは次にラベル付けするデータを予測的に特定し、プロダクションでの問題をトラブルシューティングすることもできます。ユーザーはArize.comで無料アカウントにサインアップできます。…

「2023年のトップコンピュータビジョンツール/プラットフォーム」

コンピュータビジョンは、デジタル写真やビデオ、その他の視覚的な入力から有用な情報を抽出し、それに応じてアクションを実行したり、推奨を提供したりするためのコンピュータやシステムの能力を可能にします。コンピュータビジョンは、マシンに知覚、観察、理解する能力を与え、人工知能が思考する能力を与えるのと同様の能力を提供します。人間の視覚は、長い間存在しているため、コンピュータビジョンに比べて優位性があります。生涯のコンテキストを持つことで、人間の視覚は物事を区別し、視聴者からの距離を測定し、物体が動いているかどうかを判断し、画像が正しいかどうかを判断する方法を学びます。視神経や視覚皮質ではなく、カメラ、データ、アルゴリズムを使用することで、コンピュータビジョンは同様のタスクをはるかに短時間で実行する方法をコンピュータに教えます。製品の検査や生産資産の監視をトレーニングしたシステムは、目に見えない欠陥や問題を見つけながら、1分間に数千もの製品やプロセスを検査できるため、人間よりも迅速に優れたパフォーマンスを発揮します。エネルギー、公益事業、製造業、自動車産業など、さまざまな業界でコンピュータビジョンが使用されており、市場は今も拡大し続けています。コンピュータビジョンシステムで利用できるいくつかの典型的なジョブは次のとおりです：オブジェクトの分類。システムは、画像やビデオの中のオブジェクトを事前に定義された見出しの下に分類する前に、視覚データを分析します。例えば、アルゴリズムは画像内のすべてのアイテムの中から犬を識別することができます。アイテムの識別。システムは、視覚データを分析し、画像やビデオの中の特定のオブジェクトを認識します。例えば、アルゴリズムは画像内の犬の中から特定の犬を選び出すことができます。オブジェクトの追跡。システムはビデオを分析し、検索条件を満たすオブジェクト（またはオブジェクト）を識別し、そのオブジェクトの進行状況を追跡します。トップのコンピュータビジョンツール Kili Technologyのビデオ注釈ツール Kili Technologyのビデオ注釈ツールは、ビデオファイルから高品質なデータセットの作成を簡素化し、加速するために設計されています。このツールは、バウンディングボックス、ポリゴン、セグメンテーションなど、さまざまなラベリングツールをサポートしており、正確な注釈を可能にします。高度なトラッキング機能により、直感的なエクスプロアビューでフレームを簡単にナビゲートし、すべてのラベルを確認することができます。このツールはさまざまなビデオ形式に対応し、人気のあるクラウドストレージプロバイダーとシームレスに統合されるため、既存の機械学習パイプラインとのスムーズな統合が保証されます。Kili Technologyのビデオ注釈ツールは、ラベリングプロセスを最適化し、強力なデータセットを構築するための究極のツールキットです。 OpenCV OpenCVは、機械学習とコンピュータビジョンのためのソフトウェアライブラリです。OpenCVは、コンピュータビジョンアプリケーションのための標準的なインフラストラクチャを提供するために開発され、2,500以上の伝統的なアルゴリズムと最新のアルゴリズムにアクセスできます。これらのアルゴリズムは、顔の識別、赤目の除去、オブジェクトの識別、オブジェクトの3Dモデルの抽出、動くオブジェクトの追跡、複数のフレームを高解像度の画像に繋げるなど、さまざまなことに使用することができます。 Viso Suite コンピュータビジョンの開発、展開、監視のための完全なプラットフォームであるViso Suiteは、企業が実用的なコンピュータビジョンアプリケーションを作成することを可能にします。ノーコードプラットフォームの基盤となるコンピュータビジョンのための最高のソフトウェアスタックには、CVAT、OpenCV、OpenVINO、TensorFlow、またはPyTorchが含まれています。画像の注釈、モデルのトレーニング、モデルの管理、ノーコードアプリケーションの開発、デバイスの管理、IoT通信、カスタムダッシュボードなど、Viso Suiteを構成する15のコンポーネントの一部です。ビジネスや政府機関は、産業自動化、視覚検査、リモートモニタリングなどのためのコンピュータビジョンアプリケーションのポートフォリオを作成および管理するために、Viso…

マルチリンガルASRのためのWhisperの調整を行います with 🤗 Transformers

このブログでは、ハギングフェイス🤗トランスフォーマーを使用して、Whisperを任意の多言語ASRデータセットに対して細かく調整する手順を段階的に説明します。このブログでは、Whisperモデル、Common Voiceデータセット、および細かな調整の背後にある理論について詳しく説明し、データの準備と細かい調整の手順を実行するためのコードセルと共に提供しています。説明は少ないですが、すべてのコードがあるより簡略化されたバージョンのノートブックは、関連するGoogle Colabを参照してください。目次はじめに Google ColabでのWhisperの細かい調整環境の準備データセットの読み込み特徴抽出器、トークナイザー、およびデータの準備トレーニングと評価デモの作成締めくくりはじめに Whisperは、OpenAIのAlec Radfordらによって2022年9月に発表された自動音声認識（ASR）のための事前学習モデルです。Whisperは、Wav2Vec 2.0などの先行研究とは異なり、ラベル付きの音声トランスクリプションデータで事前学習されています。具体的には、680,000時間のデータが使用されています。これは、Wav2Vec 2.0の訓練に使用されるラベルなしの音声データ（60,000時間）よりも桁違いに多いデータです。さらに、この事前学習データのうち117,000時間が多言語ASRデータです。これにより、96以上の言語に適用できるチェックポイントが生成され、その多くは低リソース言語とされています。このような大量のラベル付きデータにより、Whisperは事前学習データから音声認識の教師ありタスクを直接学習し、音声トランスクリプションデータからテキストへのマッピングを学習します。そのため、Whisperはパフォーマンスの高いASRモデルを得るためにほとんど追加の細かい調整を必要としません。これに対して、Wav2Vec 2.0は非教師付きタスクのマスク予測で事前学習されており、音声から隠れた状態への中間的なマッピングを学習します。非教師付きの事前学習は音声の高品質な表現を生み出しますが、音声からテキストへのマッピングは学習されません。このマッピングは細かい調整中にのみ学習されるため、競争力のあるパフォーマンスを得るにはより多くの細かい調整が必要です。 680,000時間のラベル付き事前学習データにスケールされると、Whisperモデルは多くのデータセットとドメインに対して高い汎化能力を示します。事前学習されたチェックポイントは、LibriSpeech ASRのtest-cleanサブセットで約3％の単語エラーレート（WER）を達成し、TED-LIUMでは4.7％のWERで新たな最先端の結果を実現します（Whisper論文の表8を参照）。Whisperが事前学習中に獲得した多言語ASRの知識は、他の低リソース言語に活用することができます。細かい調整により、事前学習済みのチェックポイントを特定のデータセットと言語に適応させることで、これらの結果をさらに改善することができます。 Whisperは、Transformerベースのエンコーダーデコーダーモデルであり、シーケンスからシーケンスへのモデルとも呼ばれています。Whisperは、オーディオのスペクトログラム特徴のシーケンスをテキストトークンのシーケンスにマッピングします。まず、生のオーディオ入力は特徴抽出器によってログメルスペクトログラムに変換されます。次に、Transformerエンコーダーはスペクトログラムをエンコードしてエンコーダーの隠れ状態のシーケンスを形成します。最後に、デコーダーはエンコーダーの隠れ状態と以前に予測されたトークンの両方に依存して、テキストトークンを自己回帰的に予測します。図1はWhisperモデルを要約しています。 <img…

リアルワールドのMLOpsの例：Brainlyでのビジュアル検索のためのエンドツーエンドのMLOpsパイプライン

シリーズ「実世界のMLOpsの例」の第2回目では、Brainlyの機械学習エンジニアであるPaweł Pęczekが、Brainlyのビジュアル検索チームにおけるエンドツーエンドの機械学習オペレーション（MLOps）プロセスを詳しく説明しますそして、MLOpsで成功するためには、技術やプロセスだけではなく、さらに詳細な情報を共有します Enjoy...

MLOps

Learn more about Search Results Neptune - Page 3