Search Results Fix with AI and Generate with AI

「Amazon SageMaker Model Registry、HashiCorp Terraform、GitHub、およびJenkins CI/CDを使用して、マルチ環境設定でのパイプラインの促進を行う」

「機械学習運用（MLOps）プラットフォームを組み立てることは、人工知能（AI）と機械学習（ML）の急速に進化する状況において、データサイエンスの実験と展開のギャップをシームレスに埋めるため、モデルのパフォーマンス、セキュリティ、コンプライアンスの要件を満たす組織にとって必要不可欠です規制とコンプライアンスの要件を満たすためには、[…]」

COSPとUSPの内部：GoogleがLLMsの推論を進めるための新しい方法を研究する

促進生成の進化は、LLMベースのアプリケーションの重要な構築要素の1つです推論や高度な微調整などのタスクには、強力なプロンプトデータセットが不可欠です技術的 handl…

「ヌガーで科学文書処理を高める」

イントロダクション自然言語処理および人工知能の分野では、科学的なPDFなどの非構造化データソースから価値ある情報を抽出する能力がますます重要になっています。この課題に対処するため、Meta AIは「Nougat」または「Neural Optical Understanding for Academic Documents」と呼ばれる最先端のトランスフォーマーベースのモデルを導入しました。Nougatは、科学的なPDFを一般的なMarkdown形式に転写するために設計されたモデルであり、Lukas Blecher、Guillem Cucurull、Thomas Scialom、Robert Stojnicによって「Nougat: Neural Optical Understanding for Academic Documents」というタイトルの論文で紹介されました。これにより、オプティカル文字認識（OCR）技術の画期的な変革が実現され、NougatはMeta AIの印象的なAIモデルの最新バージョンとなります。この記事では、Nougatの機能を探求し、そのアーキテクチャを理解し、このモデルを使用して科学的なドキュメントを転写する実践的な例を見ていきます。学習目標 Meta AIの最新トランスフォーマーモデルであるNougatを理解する。 Nougatが前任であるDonutを基に開発され、ドキュメントAIに対する最先端アプローチが導入されていることを学ぶ。…

PEFTの概要：最先端のパラメータ効率の良い微調整の概要

「LoRAなどのパラメーター効率の高いファインチューニングテクニックを学んで、限られた計算リソースを使って大規模な言語モデルを効率的に適応させる方法を習得しましょう」

Machine learning

「GANが人工的なセレブリティのアイデンティティを作り出す方法」

イントロダクション人工知能の時代において、驚くべき現象が展開されています――生成対抗ネットワーク（GAN）が創造的に人工的なセレブリティのアイデンティティを作り出しています。このテクノロジーと創造性の興味深い融合により、完全に新しいタイプのデジタルセレブリティが生まれました。私たちと一緒に、仮想世界を魅了する人工的なセレブリティパーソナリティの創造の魔法を紐解いていく興味深い旅に出かけましょう。GAN の世界に飛び込み、このデジタル芸術の秘密を探求しましょう。どのようにしてGANがこれを実現するのでしょうか？このデジタルアートの裏に隠された秘密を探求しましょう。出典: Hello Future 学習目標この記事では、以下のことを学びます。生成対抗ネットワーク（GAN）の概念ジェネレーターとディスクリミネーターの訓練方法 GANモデルの実装のステップバイステッププロセス敵対的なトレーニングを通じてGANが時間とともに改善する仕組みこの記事は、データサイエンスブログマラソンの一環として公開されました。生成対抗ネットワーク（GAN）生成対抗ネットワーク（GAN）は、Goodfellowによって開発された深層学習モデルです。その名前からも、GANの目的を理解することができます。そうです！私たちは生成の目的でそれを使用します。GANは何かを生成するネットワークです。画像、テキスト、音声など、現実世界のデータに似た合成データを生成するためにGANを使用します。GANは2つのニューラルネットワークから構成されています。これらはジェネレーターとディスクリミネーターと呼ばれます。トレーニング中、この2つのネットワークはお互いに競い合いながらより良い性能を発揮するように訓練されます。ジェネレーターとは？ジェネレーターは、生成を担当するニューラルネットワークです。出力をするためには入力が必要です。ジェネレーターが受け取る入力はランダムなノイズです。ジェネレーターはこのランダムなノイズを受け取り、実データに似た出力を生成しようとします。ディスクリミネーターからフィードバックを受け取るたびに、ジェネレーターは自己改善し、次回はより良いデータを生成します。たとえば、画像生成の場合、ジェネレーターは画像を生成します。トレーニングを通じてジェネレーターが改善するにつれ、最初はランダムなノイズから始まり、次第に出力を洗練させてより現実的になります。最初の試行では、元のデータに最も似たものを生成することができないかもしれません。時にはまったく画像ではないものさえ生成することもあります。トレーニングが進むにつれ、より正確な良質なデータが生成されます。ディスクリミネーターとは？ディスクリミネーターは、評価を担当するニューラルネットワークです。簡単に理解するために、それを探偵と呼ぶことができます。このディスクリミネーターは、実際のデータとジェネレーターによって生成された偽のデータの両方を受け取ります。偽のデータを実データと区別する必要があります。簡単に言えば、実際のデータと偽のデータを分類するということです。ジェネレーターと同様に、トレーニングが進むとディスクリミネーターもより優れた判別ができるようになります。最初の試みでは最高の結果を出せないかもしれませんが、トレーニングが進むにつれてより良い結果を出せるようになり、最終的にはほとんどの偽のデータを識別できるようになります。探偵のように働く必要があります。敵対的トレーニングジェネレーターとディスクリミネーターの両方が訓練を受け、これは敵対的トレーニングと呼ばれています。両者はお互いに競争的なトレーニングを行います。ジェネレーターが実データに似た偽のデータを生成し、ディスクリミネーターは偽のデータを識別しようとします。トレーニングプロセスの次のステップでは、ジェネレーターは自己改善を目指し、ディスクリミネーターを騙すための偽のデータを生成します。再びディスクリミネーターが偽のデータを検出します。このようにトレーニング中、両者はそれぞれのタスクでより良いパフォーマンスを発揮します。このプロセスは、ジェネレーターが非常に現実的なデータを生成し、ディスクリミネーターが本物と区別できなくなるまで続けられます。この段階でGANはある種の均衡状態に達し、生成されたデータは非常に実データに似ています。 “`html 実装まず、必要なライブラリをすべてインポートしましょう。これには主にtorchモジュールが含まれます。可視化のためにmatplotlibを使用します。…

ICAと現実のカクテルパーティの問題

「独立成分分析（ICA）は、1990年代以降の重要な発展¹以降、一般的に使用されるようになったデータ分解および前処理技術ですICAは、盲目的なソース...」

GPTモデルを活用して、自然言語をSQLクエリに変換する

「少数の提示によるクエリのためにGPTをトレーニングすることで」

Artificial Intelligence

PROsに対する推論

今日は、PROユーザー向けのInferenceを紹介します。これは、最もエキサイティングなモデルのAPIへのアクセス、無料Inference APIの使用に対する改善されたレート制限を提供するコミュニティオファリングです。PROに登録するためには、以下のページをご利用ください。 Hugging Face PROユーザーは、テキスト生成推論による超高速推論の恩恵を受けるパワフルなモデルのカリキュレーションエンドポイントに独占的にアクセスすることができます。これは、すべてのHugging Faceユーザーが利用できる無料の推論APIの上にある特典です。PROユーザーは、これらのモデルに対してより高いレート制限を享受するだけでなく、今日最も優れたモデルへの独占的なアクセスも楽しむことができます。目次サポートされているモデル PRO向けInferenceの始め方アプリケーション Llama 2とCode Llamaでのチャット Code Llamaを使用したコード補完 Stable Diffusion XL 生成パラメータテキスト生成の制御画像生成の制御キャッシングストリーミング PROに登録する…

「T2Iアダプタを使用した効率的で制御可能なSDXL生成」

T2I-Adapterは、オリジナルの大規模なテキストから画像へのモデルを凍結しながら、事前学習されたテキストから画像へのモデルに追加のガイダンスを提供する効率的なプラグアンドプレイモデルです。T2I-Adapterは、T2Iモデル内部の知識を外部の制御信号と整合させます。さまざまな条件に応じてさまざまなアダプタをトレーニングし、豊富な制御と編集効果を実現することができます。 ControlNetは同様の機能を持ち、広く使用されている現代の作業です。しかし、実行するには計算コストが高い場合があります。これは、逆拡散プロセスの各ノイズ除去ステップで、ControlNetとUNetの両方を実行する必要があるためです。さらに、ControlNetは制御モデルとしてUNetエンコーダのコピーを重要視しており、パラメータ数が大きくなるため、生成はControlNetのサイズによって制約されます（サイズが大きければそれだけプロセスが遅くなります）。 T2I-Adapterは、この点でControlNetに比べて競争力のある利点を提供します。T2I-Adapterはサイズが小さく、ControlNetとは異なり、T2I-Adapterはノイズ除去プロセス全体の間ずっと一度だけ実行されます。過去数週間、DiffusersチームとT2I-Adapterの著者は、diffusersでStable Diffusion XL（SDXL）のT2I-Adapterのサポートを提供するために協力してきました。このブログ記事では、SDXLにおけるT2I-Adapterのトレーニング結果、魅力的な結果、そしてもちろん、さまざまな条件（スケッチ、キャニー、ラインアート、深度、およびオープンポーズ）でのT2I-Adapterのチェックポイントを共有します。以前のバージョンのT2I-Adapter（SD-1.4/1.5）と比較して、T2I-Adapter-SDXLはまだオリジナルのレシピを使用しており、79Mのアダプタで2.6BのSDXLを駆動しています！T2I-Adapter-SDXLは、強力な制御機能を維持しながら、SDXLの高品質な生成を受け継いでいます。 diffusersを使用してT2I-Adapter-SDXLをトレーニングする私たちは、diffusersが提供する公式のサンプルを元に、トレーニングスクリプトを作成しました。このブログ記事で言及するT2I-Adapterモデルのほとんどは、LAION-Aesthetics V2からの3Mの高解像度の画像テキストペアで、以下の設定でトレーニングされました：トレーニングステップ：20000-35000 バッチサイズ：データ並列、単一GPUバッチサイズ16、合計バッチサイズ128。学習率：定数学習率1e-5。混合精度：fp16 コミュニティには、スピード、メモリ、品質の間で競争力のあるトレードオフを打つために、私たちのスクリプトを使用してカスタムでパワフルなT2I-Adapterをトレーニングすることをお勧めします。 diffusersでT2I-Adapter-SDXLを使用するここでは、ラインアートの状態を例にとって、T2I-Adapter-SDXLの使用方法を示します。まず、必要な依存関係をインストールします： pip install -U git+https://github.com/huggingface/diffusers.git pip install…

Amazon CloudWatchで、ポッドベースのGPUメトリクスを有効にします

この記事では、コンテナベースのGPUメトリクスの設定方法と、EKSポッドからこれらのメトリクスを収集する例について詳しく説明します

Learn more about Search Results Fix with AI and Generate with AI - Page 3