Search Results 公式ドキュメント

JAXを使用してRL環境をベクトル化・並列化する：光の速さでのQ学習⚡

前回の話では、グリッドワールドのコンテキストで、特にQ学習に焦点を当て、時間差学習を紹介しましたこの実装は、デモンストレーションの目的を果たすために役立ちましたが、...

僧侶の病気探偵：AI技術を活用した植物健康ガイド

イントロダクション農業は私たちの文明の生命線であり、地球上の数十億人に栄養と食物を提供しています。しかし、この重要な産業は絶え間ない敵、つまり植物の病気に直面しています。これらの微小な脅威は作物に甚大な被害をもたらし、経済損失や食料不足を引き起こします。私たちの農業の遺産を守るカギは、最新の技術が介入する早期の検出と適時の対応にあります。この包括的なガイドでは、強力な機械学習ライブラリであるMonkを使用した植物の病気分類の旅に出ます。この記事の最後までに、人工知能を活用して植物の病気を効果的に特定し、対処するための知識を身につけることができます。では、Monkがどのように私たちに力を与え、植物の病気分類のためのディープラーニングモデルを作成、訓練、最適化するかを探求していきましょう。しかし、技術的な側面に入る前に、この取り組みの重要性とMonkが重要な役割を果たす理由を理解するために舞台を設定しましょう。学習目標 Monkソフトウェア/ライブラリの基本を理解する。ローカルマシンまたは好きな開発環境にMonkをインストールして設定する方法を学ぶ。機械学習における高品質なデータの重要性を探求する。 Monkを使用して、植物の病気の画像データセットを取得、前処理、整理して分類タスクに使用する方法を学ぶ。植物の病気分類に適したディープラーニングモデルアーキテクチャの選択に対する洞察を得る。 Monk内でモデルを設定し微調整する方法を理解する。転移学習における事前学習済みモデルも含む。この記事はData Science Blogathonの一部として公開されました。実践ガイド：Monkによる最初の病気分類モデルの作成このセクションでは、植物の病気分類のためのMonkモデルのステップバイステップのプロセスをご紹介します。機械学習に初めて取り組む方から経験豊富なデータサイエンティストまで、以下の手順に従って植物の病気分類の旅を始めましょう。ステップ1：データ収集この最初のステップでは、植物の病気分類プロジェクトに必要なデータセットを収集します。以下の手順に従ってデータを収集してください：すばらしいPlant Villageのチームがデータセットを収集しました 1. Kaggle APIトークンのアップロード：以下のコードを使用してKaggle APIトークンをアップロードしてください。このトークンは、Kaggleからデータセットをダウンロードするために必要です。…

「より良いMLシステムの構築-第4章モデルの展開とその先」

モデルを展開し、その制作を支援することは、機械学習よりもエンジニアリングに関わります機械学習のプロジェクトが制作段階に近づくにつれて、ますます多くの人々が関わってきますバックエンド...

「コンテキストに基づくドキュメント検索の強化：GPT-2とLlamaIndexの活用」

はじめに情報検索の世界では、探索を待ち受けるテキストデータの海において、関連するドキュメントを効率的に特定する能力は非常に貴重です。従来のキーワードベースの検索には限界がありますが、特に個人情報や機密データを扱う場合には、これらの課題を克服するために、2つの素晴らしいツール、GPT-2とLlamaIndexの統合に頼ることがあります。この記事では、これら2つのテクノロジーがどのように連携してドキュメントの検索を変革するかを示すコードについて詳しく説明します。学習目標 GPT-2という多目的な言語モデルと、個人情報に焦点を当てたライブラリであるLLAMAINDEXのパワーを効果的に組み合わせて、ドキュメントの検索を変革する方法を学ぶ。 GPT-2の埋め込みを使用してドキュメントをインデックスし、ユーザーのクエリとの類似度に基づいてランキングするプロセスを示す、シンプルなコードの実装についての洞察を得る。大きな言語モデルの統合、マルチモーダルコンテンツのサポート、倫理的な考慮を含む、ドキュメントの検索の将来のトレンドを探索し、これらのトレンドがこの分野をどのように形作るかを理解する。この記事は、データサイエンスブログマラソンの一環として公開されました。 GPT-2：言語モデルの巨人の解明 GPT-2の解説 GPT-2は、「Generative Pre-trained Transformer 2」の略であり、オリジナルのGPTモデルの後継です。OpenAIによって開発されたGPT-2は、理解力と人間らしいテキストの生成能力において画期的な能力を持って登場しました。これは、現代のNLPの基盤となったTransformerモデルに基づく傑出したアーキテクチャを誇っています。 Transformerアーキテクチャ GPT-2の基盤となるのはTransformerアーキテクチャです。これは、Ashish Vaswaniらによって発表された「Let it be what you want it to be」という論文で紹介されたニューラルネットワークの設計です。このモデルは、一貫性、効率性、効果を向上させることで、NLPを革新しました。セルフモニタリング、空間変換、マルチヘッドリスニングなどのTransformerのコア機能により、GPT-2はテキストの内容や関係性を前例のない方法で理解することができます。…

MLflowを使用した機械学習実験のトラッキング

イントロダクション機械学習（ML）の領域は急速に拡大し、さまざまなセクターで応用されています。MLflowを使用して機械学習の実験を追跡し、それらを構築するために必要なトライアルを管理することは、それらが複雑になるにつれてますます困難になります。これにより、データサイエンティストにとって多くの問題が生じる可能性があります。例えば：実験の損失または重複：実施された多くの実験を追跡することは困難であり、実験の損失や重複のリスクを高めます。結果の再現性：実験の結果を再現することは困難な場合があり、モデルのトラブルシューティングや改善が困難になります。透明性の欠如：モデルの予測を信頼するのが難しくなる場合があります。モデルの作成方法がわかりにくいためです。写真提供：CHUTTERSNAP（Unsplash）上記の課題を考慮すると、MLの実験を追跡し、再現性を向上させるためのメトリックをログに記録し、協力を促進するツールを持つことが重要です。このブログでは、コード例を含め、オープンソースのML実験追跡とモデル管理ツールであるMLflowについて探求し学びます。学習目標本記事では、MLflowを使用した機械学習の実験追跡とモデルレジストリの理解を目指します。さらに、再利用可能で再現性のある方法でMLプロジェクトを提供する方法を学びます。最後に、LLMとは何か、なぜアプリケーション開発のためにLLMを追跡する必要があるのかを学びます。 MLflowとは何ですか？ MLflowロゴ（出典：公式サイト） MLflowは、機械学習プロジェクトを簡単に扱うための機械学習実験追跡およびモデル管理ソフトウェアです。MLワークフローを簡素化するためのさまざまなツールと機能を提供します。ユーザーは結果を比較し、複製し、パラメータやメトリックをログに記録し、MLflowの実験を追跡することができます。また、モデルのパッケージ化と展開も簡単に行えます。 MLflowを使用すると、トレーニング実行中にパラメータとメトリックをログに記録することができます。 # mlflowライブラリをインポートする import mlflow # mlflowのトラッキングを開始する mlflow.start_run() mlflow.log_param("learning_rate", 0.01)…

「Würstchenの紹介：画像生成のための高速拡散」

Würstchenとは何ですか？ Würstchenは、テキスト条件付きの成分が画像の高度に圧縮された擬似モデルです。なぜこれが重要なのでしょうか？データの圧縮により、トレーニングと推論の両方の計算コストを桁違いに削減することができます。1024×1024の画像でのトレーニングは、32×32の画像でのトレーニングよりも遥かに高価です。通常、他の研究では比較的小規模な圧縮（4倍から8倍の空間圧縮）を使用しますが、Würstchenはこれを極限まで高めました。新しいデザインにより、42倍の空間圧縮を実現しました！これは以前には見られなかったものです。なぜなら、一般的な手法では16倍の空間圧縮後に詳細な画像を忠実に再構築することができないからです。Würstchenは2段階の圧縮、ステージAとステージBを採用しています。ステージAはVQGANであり、ステージBはディフュージョンオートエンコーダーです（詳細は論文を参照）。ステージAとBはデコーダーと呼ばれ、圧縮された画像をピクセル空間に戻します。高度に圧縮された潜在空間で学習される第3のモデル、ステージCも存在します。このトレーニングでは、現在の最高性能モデルに比べてずっと少ない計算リソースが必要であり、より安価で高速な推論が可能です。ステージCを事前モデルと呼んでいます。なぜ別のテキストから画像へのモデルが必要なのですか？それは非常に高速かつ効率的です。Würstchenの最大の利点は、Stable Diffusion XLなどのモデルよりもはるかに高速に画像を生成でき、メモリの使用量も少ないことです！A100が手元にない私たち全員にとって、これは便利なツールです。以下は、異なるバッチサイズでのSDXLとの比較です：さらに、Würstchenの大幅な利点として、トレーニングコストの削減があります。512×512で動作するWürstchen v1は、わずか9,000時間のGPUでトレーニングされました。これを、Stable Diffusion 1.4に費やされた150,000時間のGPUと比較すると、コストが16倍も削減されていることがわかります。これにより、研究者が新しい実験を行う際にだけでなく、より多くの組織がこのようなモデルのトレーニングを行うことができるようになります。Würstchen v2は24,602時間のGPUを使用しました。解像度が1536まで上がっても、これはSD1.4の6倍安価です。SD1.4は512×512でのみトレーニングされました。詳しい説明ビデオは次のリンクでご覧いただけます： Würstchenの使用方法こちらのデモを使用して試すこともできます：または、モデルはDiffusersライブラリを介して利用可能なため、既に慣れているインターフェースを使用することができます。例えば、AutoPipelineを使用して推論を実行する方法は次のとおりです： import torch from diffusers import AutoPipelineForText2Image from diffusers.pipelines.wuerstchen import…

「PandasAIを用いたデータ分析における生成型AIの活用」

「生成モデルを適用することで、PandasAIは人間のようなクエリを理解し、応答することができ、複雑なデータの操作を実行し、視覚的な表現を生成することができます」

「T2Iアダプタを使用した効率的で制御可能なSDXL生成」

T2I-Adapterは、オリジナルの大規模なテキストから画像へのモデルを凍結しながら、事前学習されたテキストから画像へのモデルに追加のガイダンスを提供する効率的なプラグアンドプレイモデルです。T2I-Adapterは、T2Iモデル内部の知識を外部の制御信号と整合させます。さまざまな条件に応じてさまざまなアダプタをトレーニングし、豊富な制御と編集効果を実現することができます。 ControlNetは同様の機能を持ち、広く使用されている現代の作業です。しかし、実行するには計算コストが高い場合があります。これは、逆拡散プロセスの各ノイズ除去ステップで、ControlNetとUNetの両方を実行する必要があるためです。さらに、ControlNetは制御モデルとしてUNetエンコーダのコピーを重要視しており、パラメータ数が大きくなるため、生成はControlNetのサイズによって制約されます（サイズが大きければそれだけプロセスが遅くなります）。 T2I-Adapterは、この点でControlNetに比べて競争力のある利点を提供します。T2I-Adapterはサイズが小さく、ControlNetとは異なり、T2I-Adapterはノイズ除去プロセス全体の間ずっと一度だけ実行されます。過去数週間、DiffusersチームとT2I-Adapterの著者は、diffusersでStable Diffusion XL（SDXL）のT2I-Adapterのサポートを提供するために協力してきました。このブログ記事では、SDXLにおけるT2I-Adapterのトレーニング結果、魅力的な結果、そしてもちろん、さまざまな条件（スケッチ、キャニー、ラインアート、深度、およびオープンポーズ）でのT2I-Adapterのチェックポイントを共有します。以前のバージョンのT2I-Adapter（SD-1.4/1.5）と比較して、T2I-Adapter-SDXLはまだオリジナルのレシピを使用しており、79Mのアダプタで2.6BのSDXLを駆動しています！T2I-Adapter-SDXLは、強力な制御機能を維持しながら、SDXLの高品質な生成を受け継いでいます。 diffusersを使用してT2I-Adapter-SDXLをトレーニングする私たちは、diffusersが提供する公式のサンプルを元に、トレーニングスクリプトを作成しました。このブログ記事で言及するT2I-Adapterモデルのほとんどは、LAION-Aesthetics V2からの3Mの高解像度の画像テキストペアで、以下の設定でトレーニングされました：トレーニングステップ：20000-35000 バッチサイズ：データ並列、単一GPUバッチサイズ16、合計バッチサイズ128。学習率：定数学習率1e-5。混合精度：fp16 コミュニティには、スピード、メモリ、品質の間で競争力のあるトレードオフを打つために、私たちのスクリプトを使用してカスタムでパワフルなT2I-Adapterをトレーニングすることをお勧めします。 diffusersでT2I-Adapter-SDXLを使用するここでは、ラインアートの状態を例にとって、T2I-Adapter-SDXLの使用方法を示します。まず、必要な依存関係をインストールします： pip install -U git+https://github.com/huggingface/diffusers.git pip install…

「HuggingFaceを使用したLlama 2 7B Fine-TunedモデルのGPTQ量子化」

前の記事では、Meta AIが最近リリースした新しいLlama 2モデルを使用して、わずか数行のコードでPythonコードジェネレータを構築する方法を紹介しました今回は、...と説明します

ラマインデックスを使って、独自のパンダAIを作りましょう

Pandasに直感的なデータ解析と会話のための自然言語の機能を簡単に追加するために、LlamaIndexとGPT-3.5-Turboを活用する方法を学びましょう

Python

Learn more about Search Results 公式ドキュメント - Page 2