Search Results documentation

生成AIのアシストを使用して複雑なSQLクエリを作成する

イントロダクション ChatGPTの登場は、AIの歴史において前例のない瞬間を迎えました。ChatGPTや他の多くの生成型AIツールは、驚異的な能力を持っており、私たちの働き方を劇的に変える可能性があります。AI革命に続いて、データサイエンスにおけるSQLの記述は既に変化しています。この記事では、自然言語を使用してSQLデータベースと接続し、対話する具体的な例を提供します。PythonのオープンソースパッケージであるVannaを使用します。ノートブックへのリンクはこちらです。Generative AIを使用して複雑なSQLクエリの作成方法をマスターしましょう。この洞察に富んだガイドでは、自然言語のプロンプトを使用してデータベースの相互作用を効率化する方法を学びます。学習目標この記事では、以下のことを学びます：データ駆動型プロジェクトにおいて、なぜSQLの記述が一般的な課題となるのか生成型AIがSQLをより簡単かつアクセスしやすくする可能性自然言語のプロンプトを使用してSQLを記述するためにLLMをどのように実装できるか PythonのパッケージであるVannaを使用してSQLデータベースと接続し、対話する方法 Vannaやより広範な意味でのLLMがSQLの記述において抱える制約この記事は、データサイエンスのブログマラソンの一環として公開されました。データ駆動型プロジェクトにおけるSQL：一般的な課題 SQLは最もポピュラーで広く使用されているプログラミング言語の一つです。ほとんどの現代企業は、エンタープライズデータの格納と分析にSQLアーキテクチャを採用しています。しかし、会社内の全員がそのデータを活用する能力を持っているわけではありません。技術的なスキルが不足しているか、データベースの構造やスキーマに馴染みがないかもしれません。どんな理由であれ、これはデータ駆動型プロジェクトにおいてしばしばボトルネックとなります。ビジネスの質問に答えるためには、SQLデータベースの使用方法を知っているごく少数の人々の存在に依存しています。会社の全員が、SQLの専門知識にかかわらず、一度にいつでもどこでもデータを活用できたら素晴らしいですよね？これは、生成型AIの助けを借りれば、近いうちに実現することができるかもしれません。開発者や研究者は、SQLの目的でトレーニングされた大規模言語モデル（LLM）の異なるアプローチを既にテストしています。たとえば、LLMベースのアプリケーションを開発するための人気フレームワークであるLangChainは、自然言語のプロンプトに基づいてSQLデータベースと接続し、対話することができます。しかし、これらのツールはまだ初期段階にあります。大規模で複雑なデータベースで作業する場合、精度の低い結果を返したり、いわゆるLLM幻覚を経験することがよくあります。また、非技術的なユーザーにとって直感的に理解しにくい場合もあります。したがって、改善の余地はまだ大いにあります。 Vannaの概要 Vannaは、SQLの使用を民主化するために設計されたAIエージェントです。OpenAIとGoogleのサードパーティLLMの組み合わせに基づいた事前学習モデルを元に、データベースに特化したカスタムモデルを微調整することができます。モデルが準備できたら、自然言語でビジネスの質問を投げかけると、モデルがそれをSQLクエリに変換します。また、クエリを対象のデータベースに対して実行したい場合もあります。モデルに尋ねるだけで、クエリと結果のpandas DataFrame、plotlyのチャート、および追加の質問のリストが返されます。カスタムモデルを作成するためには、VannaはSQLの例、データベースのドキュメント、およびデータベーススキーマ（データ定義言語（DDL））など、文脈に関連する情報をトレーニングデータとして使用する必要があります。モデルの精度は、トレーニングデータの品質と量に最終的に依存します。良いニュースは、モデルが使用されるたびに生成されたSQLクエリが自動的にトレーニングデータに追加されるため、モデルが以前のミスから学び、徐々に改善していくことです。全体のプロセスは、以下のイメージで示されています： LLMの技術的な詳細や他の種類のニューラルネットワークについて詳しくは、この記事をご覧ください。…

「コンテキストに基づくドキュメント検索の強化：GPT-2とLlamaIndexの活用」

はじめに情報検索の世界では、探索を待ち受けるテキストデータの海において、関連するドキュメントを効率的に特定する能力は非常に貴重です。従来のキーワードベースの検索には限界がありますが、特に個人情報や機密データを扱う場合には、これらの課題を克服するために、2つの素晴らしいツール、GPT-2とLlamaIndexの統合に頼ることがあります。この記事では、これら2つのテクノロジーがどのように連携してドキュメントの検索を変革するかを示すコードについて詳しく説明します。学習目標 GPT-2という多目的な言語モデルと、個人情報に焦点を当てたライブラリであるLLAMAINDEXのパワーを効果的に組み合わせて、ドキュメントの検索を変革する方法を学ぶ。 GPT-2の埋め込みを使用してドキュメントをインデックスし、ユーザーのクエリとの類似度に基づいてランキングするプロセスを示す、シンプルなコードの実装についての洞察を得る。大きな言語モデルの統合、マルチモーダルコンテンツのサポート、倫理的な考慮を含む、ドキュメントの検索の将来のトレンドを探索し、これらのトレンドがこの分野をどのように形作るかを理解する。この記事は、データサイエンスブログマラソンの一環として公開されました。 GPT-2：言語モデルの巨人の解明 GPT-2の解説 GPT-2は、「Generative Pre-trained Transformer 2」の略であり、オリジナルのGPTモデルの後継です。OpenAIによって開発されたGPT-2は、理解力と人間らしいテキストの生成能力において画期的な能力を持って登場しました。これは、現代のNLPの基盤となったTransformerモデルに基づく傑出したアーキテクチャを誇っています。 Transformerアーキテクチャ GPT-2の基盤となるのはTransformerアーキテクチャです。これは、Ashish Vaswaniらによって発表された「Let it be what you want it to be」という論文で紹介されたニューラルネットワークの設計です。このモデルは、一貫性、効率性、効果を向上させることで、NLPを革新しました。セルフモニタリング、空間変換、マルチヘッドリスニングなどのTransformerのコア機能により、GPT-2はテキストの内容や関係性を前例のない方法で理解することができます。…

PROsに対する推論

今日は、PROユーザー向けのInferenceを紹介します。これは、最もエキサイティングなモデルのAPIへのアクセス、無料Inference APIの使用に対する改善されたレート制限を提供するコミュニティオファリングです。PROに登録するためには、以下のページをご利用ください。 Hugging Face PROユーザーは、テキスト生成推論による超高速推論の恩恵を受けるパワフルなモデルのカリキュレーションエンドポイントに独占的にアクセスすることができます。これは、すべてのHugging Faceユーザーが利用できる無料の推論APIの上にある特典です。PROユーザーは、これらのモデルに対してより高いレート制限を享受するだけでなく、今日最も優れたモデルへの独占的なアクセスも楽しむことができます。目次サポートされているモデル PRO向けInferenceの始め方アプリケーション Llama 2とCode Llamaでのチャット Code Llamaを使用したコード補完 Stable Diffusion XL 生成パラメータテキスト生成の制御画像生成の制御キャッシングストリーミング PROに登録する…

「3Dガウシアンスプラッティング入門」

3Dガウススプラッティングは、小さな画像サンプルから学習したフォトリアルなシーンをリアルタイムでレンダリングするための技術であり、3Dガウススプラッティングによるリアルタイム放射輝度フィールドレンダリングに記載されています。この記事では、その動作原理とグラフィックスの未来について解説します。ガウススプラッティングのシーンの例については、こちらのリモートガウスビューアーをご覧ください。 3Dガウススプラッティングとは何ですか？ 3Dガウススプラッティングは、本質的にはラスタライゼーション技術です。つまり：シーンを説明するデータを持つ。データを画面に描画する。これは、コンピュータグラフィックスの三角形ラスタライゼーションに類似しており、画面上に多くの三角形を描画するために使用されます。ただし、三角形ではなくガウス分布を使用します。以下は、境界を明確にするために描画された単一のガウス分布のラスタライズ例です。ガウス分布は、次のパラメータで説明されます：位置：どこにあるか（XYZ）共分散：どのように伸縮されるか（3×3行列）色：何色か（RGB）アルファ：どれくらい透明か（α）実際には、複数のガウス分布が一度に描画されます。これが三つのガウス分布です。では、700万個のガウス分布はどうでしょうか？以下は、それぞれのガウス分布を完全に不透明にラスタライズしたものです。これが3Dガウススプラッティングの概要です。次に、論文で説明されている手順を詳しく見ていきましょう。動作原理 1. Structure from Motion 最初のステップは、Structure from…

「成功したプロンプトの構造の探索」

この記事では、著者がGPTConsoleのBirdとPixie AIエージェントのためのプログラマのハンドブックを読者に提供しています

「Würstchenの紹介：画像生成のための高速拡散」

Würstchenとは何ですか？ Würstchenは、テキスト条件付きの成分が画像の高度に圧縮された擬似モデルです。なぜこれが重要なのでしょうか？データの圧縮により、トレーニングと推論の両方の計算コストを桁違いに削減することができます。1024×1024の画像でのトレーニングは、32×32の画像でのトレーニングよりも遥かに高価です。通常、他の研究では比較的小規模な圧縮（4倍から8倍の空間圧縮）を使用しますが、Würstchenはこれを極限まで高めました。新しいデザインにより、42倍の空間圧縮を実現しました！これは以前には見られなかったものです。なぜなら、一般的な手法では16倍の空間圧縮後に詳細な画像を忠実に再構築することができないからです。Würstchenは2段階の圧縮、ステージAとステージBを採用しています。ステージAはVQGANであり、ステージBはディフュージョンオートエンコーダーです（詳細は論文を参照）。ステージAとBはデコーダーと呼ばれ、圧縮された画像をピクセル空間に戻します。高度に圧縮された潜在空間で学習される第3のモデル、ステージCも存在します。このトレーニングでは、現在の最高性能モデルに比べてずっと少ない計算リソースが必要であり、より安価で高速な推論が可能です。ステージCを事前モデルと呼んでいます。なぜ別のテキストから画像へのモデルが必要なのですか？それは非常に高速かつ効率的です。Würstchenの最大の利点は、Stable Diffusion XLなどのモデルよりもはるかに高速に画像を生成でき、メモリの使用量も少ないことです！A100が手元にない私たち全員にとって、これは便利なツールです。以下は、異なるバッチサイズでのSDXLとの比較です：さらに、Würstchenの大幅な利点として、トレーニングコストの削減があります。512×512で動作するWürstchen v1は、わずか9,000時間のGPUでトレーニングされました。これを、Stable Diffusion 1.4に費やされた150,000時間のGPUと比較すると、コストが16倍も削減されていることがわかります。これにより、研究者が新しい実験を行う際にだけでなく、より多くの組織がこのようなモデルのトレーニングを行うことができるようになります。Würstchen v2は24,602時間のGPUを使用しました。解像度が1536まで上がっても、これはSD1.4の6倍安価です。SD1.4は512×512でのみトレーニングされました。詳しい説明ビデオは次のリンクでご覧いただけます： Würstchenの使用方法こちらのデモを使用して試すこともできます：または、モデルはDiffusersライブラリを介して利用可能なため、既に慣れているインターフェースを使用することができます。例えば、AutoPipelineを使用して推論を実行する方法は次のとおりです： import torch from diffusers import AutoPipelineForText2Image from diffusers.pipelines.wuerstchen import…

PyTorch FSDPを使用してLlama 2 70Bのファインチューニング

はじめにこのブログ記事では、PyTorch FSDPと関連するベストプラクティスを使用して、Llama 2 70Bを微調整する方法について説明します。Hugging Face Transformers、Accelerate、およびTRLを活用します。また、AccelerateをSLURMと一緒に使用する方法も学びます。 Fully Sharded Data Parallelism（FSDP）は、オプティマイザの状態、勾配、およびパラメータをデバイス間でシャードするパラダイムです。フォワードパスでは、各FSDPユニットが完全な重みを取得するための全ギャザー操作を実行し、計算が行われた後に他のデバイスからのシャードを破棄します。フォワードパスの後、ロスが計算され、バックワードパスが行われます。バックワードパスでは、各FSDPユニットが完全な重みを取得するための全ギャザー操作を実行し、ローカルな勾配を取得するための計算が行われます。これらのローカルな勾配は平均化され、リダクション-スキャッタ操作を介してデバイス間でシャードされるため、各デバイスは自身のシャードのパラメータを更新することができます。PyTorch FSDPの詳細については、次のブログ記事を参照してください：PyTorch Fully Sharded Data Parallelを使用した大規模モデルトレーニングの加速。 (出典: リンク) 使用されたハードウェアノード数：2。最小要件は1です。ノードあたりのGPU数：8。GPUタイプ：A100。GPUメモリ：80GB。ノード内接続：NVLink。ノードあたりのRAM：1TB。ノードあたりのCPUコア数：96。ノード間接続：Elastic Fabric Adapter。 LLaMa 70Bの微調整における課題…

🤗 Transformersにおけるネイティブサポートされた量子化スキームの概要

私たちは、トランスフォーマーでサポートされている各量子化スキームの利点と欠点を明確に示し、どれを選ぶべきかを判断するのに役立つ概要を提供することを目指しています。現在、モデルの量子化は主に2つの目的で使用されています：大きなモデルの推論をより小さなデバイスで実行すること量子化モデルの上にアダプタを微調整すること現時点で、2つの統合の取り組みが行われ、トランスフォーマーでネイティブにサポートされています：bitsandbytesとauto-gptqです。なお、🤗オプティマムライブラリでは他の量子化スキームもサポートされていますが、このブログ投稿では対象外です。サポートされている各スキームの詳細については、以下で共有されているリソースのいずれかをご覧ください。また、ドキュメントの適切なセクションもご確認ください。また、以下で共有されている詳細は、PyTorchモデルにのみ有効であり、TensorflowおよびFlax/JAXモデルについては現在のところ対象外です。目次リソース bitsandbyesとauto-gptqの利点と欠点速度ベンチマークの詳細結論と最終的な言葉謝辞リソース GPTQブログ投稿 – GPTQ量子化方法と使用方法について概説しています。 bitsandbytes 4ビット量子化ブログ投稿 – このブログ投稿では4ビット量子化と効率的なファインチューニング手法であるQLoRaについて紹介しています。 bitsandbytes 8ビット量子化ブログ投稿 –…

「データサイエンスのデータ管理原則」

「基礎に戻る：データサイエンティストが知っておくべき主要なデータ管理の原則の理解」

SQL

「T2Iアダプタを使用した効率的で制御可能なSDXL生成」

T2I-Adapterは、オリジナルの大規模なテキストから画像へのモデルを凍結しながら、事前学習されたテキストから画像へのモデルに追加のガイダンスを提供する効率的なプラグアンドプレイモデルです。T2I-Adapterは、T2Iモデル内部の知識を外部の制御信号と整合させます。さまざまな条件に応じてさまざまなアダプタをトレーニングし、豊富な制御と編集効果を実現することができます。 ControlNetは同様の機能を持ち、広く使用されている現代の作業です。しかし、実行するには計算コストが高い場合があります。これは、逆拡散プロセスの各ノイズ除去ステップで、ControlNetとUNetの両方を実行する必要があるためです。さらに、ControlNetは制御モデルとしてUNetエンコーダのコピーを重要視しており、パラメータ数が大きくなるため、生成はControlNetのサイズによって制約されます（サイズが大きければそれだけプロセスが遅くなります）。 T2I-Adapterは、この点でControlNetに比べて競争力のある利点を提供します。T2I-Adapterはサイズが小さく、ControlNetとは異なり、T2I-Adapterはノイズ除去プロセス全体の間ずっと一度だけ実行されます。過去数週間、DiffusersチームとT2I-Adapterの著者は、diffusersでStable Diffusion XL（SDXL）のT2I-Adapterのサポートを提供するために協力してきました。このブログ記事では、SDXLにおけるT2I-Adapterのトレーニング結果、魅力的な結果、そしてもちろん、さまざまな条件（スケッチ、キャニー、ラインアート、深度、およびオープンポーズ）でのT2I-Adapterのチェックポイントを共有します。以前のバージョンのT2I-Adapter（SD-1.4/1.5）と比較して、T2I-Adapter-SDXLはまだオリジナルのレシピを使用しており、79Mのアダプタで2.6BのSDXLを駆動しています！T2I-Adapter-SDXLは、強力な制御機能を維持しながら、SDXLの高品質な生成を受け継いでいます。 diffusersを使用してT2I-Adapter-SDXLをトレーニングする私たちは、diffusersが提供する公式のサンプルを元に、トレーニングスクリプトを作成しました。このブログ記事で言及するT2I-Adapterモデルのほとんどは、LAION-Aesthetics V2からの3Mの高解像度の画像テキストペアで、以下の設定でトレーニングされました：トレーニングステップ：20000-35000 バッチサイズ：データ並列、単一GPUバッチサイズ16、合計バッチサイズ128。学習率：定数学習率1e-5。混合精度：fp16 コミュニティには、スピード、メモリ、品質の間で競争力のあるトレードオフを打つために、私たちのスクリプトを使用してカスタムでパワフルなT2I-Adapterをトレーニングすることをお勧めします。 diffusersでT2I-Adapter-SDXLを使用するここでは、ラインアートの状態を例にとって、T2I-Adapter-SDXLの使用方法を示します。まず、必要な依存関係をインストールします： pip install -U git+https://github.com/huggingface/diffusers.git pip install…

Learn more about Search Results documentation - Page 6