Search Results Vector Embeddings

‘製品およびエンジニアリングリーダーのための実践的なGenAI’

「もし普段から運転することがあるなら、自動車のフードには気にすることなく綿が詰まっているかもしれませんしかし、もしもあなたがより良い車を作る責任を持つ設計や製造の一環であるならば…」

「Amazon SageMaker Data Wranglerを使用して、生成型AIのデータ準備をシンプルにする」

生成型人工知能（生成型AI）モデルは、高品質のテキスト、画像、およびその他のコンテンツを生成する能力を見せていますしかし、これらのモデルは、最大の可能性を発揮するためには大量のクリーンで構造化されたトレーニングデータが必要ですほとんどの現実世界のデータはPDFなどの非構造化形式で存在しており、効果的に使用するためには前処理が必要ですIDCによると、[…]

「PostgreSQLとOpenAI埋め込みを使用した意味検索」

企業のデータベース内にセマンティック検索を実装することは困難であり、大きな努力が必要ですしかし、本当にそうでなければならないのでしょうか？この記事では、どのようにして活用できるかを示します…

「Rustベースのベクトルデータベース、Qdrantに深く潜る」

イントロダクションベクトルデータベースは、非構造化および構造化データの表現を格納および索引化するための主要な場所となっています。これらの表現は、埋め込みモデルによって生成されるベクトル埋め込みです。ベクトルストアは、ディープラーニングモデル、特に大規模な言語モデルを使用したアプリの開発で重要な役割を果たしています。ベクトルストアの領域は常に進化しており、最近導入されたQdrantはその1つで、機能が充実しています。さあ、それについてもっと詳しく見ていきましょう。学習目標 Qdrantの専門用語に慣れることで、より理解を深める Qdrant Cloudにダイブし、クラスタを作成するドキュメントの埋め込みを作成し、Qdrantコレクションに保存する方法を学ぶ Qdrantでクエリがどのように機能するかを探る Qdrantのフィルタリングを弄って、その動作を確認するこの記事はData Science Blogathonの一環として公開されました。埋め込みとは何ですか？ベクトル埋め込みは、データを数値形式で表現する手段です。つまり、テキスト、写真、音声、ビデオなどのデータの種類に関係なく、n次元空間または数値ベクトルとして表します。埋め込みを使用すると、関連するデータをグループ化することができます。特定の入力は、特定のモデルを使用してベクトルに変換することができます。Googleによって作成された有名な埋め込みモデルであるWord2Vecは、単語をベクトル（ベクトルはn次元の点です）に変換します。各大規模言語モデルには、LLMの埋め込みを生成する埋め込みモデルがあります。埋め込みは何に使用されますか？単語をベクトルに変換する利点の1つは、比較が可能であるということです。数値入力またはベクトル埋め込みとして2つの単語が与えられた場合、コンピュータはそれらを直接比較することはできませんが、それらを比較することができます。類似した埋め込みを持つ単語をグループ化することが可能です。王、女王、王子、王女といった用語は、関連するクラスタに表示されます。この意味で、埋め込みは、与えられた用語に関連する単語を特定するのに役立ちます。これは、文に使用され、入力された文に関連する文を返すデータが提供される場合に使用されます。これは、チャットボット、文の類似度、異常検知、セマンティックサーチなどの多くのユースケースの基礎となります。私たちが提供するPDFまたはドキュメントに基づいて質問に答えるために開発するチャットボットは、この埋め込みの概念を利用しています。これは、すべての生成的大規模言語モデルが、それらに供給されるクエリに同様に関連付けられたコンテンツを取得するために使用する方法です。ベクトルデータベースとは何ですか？先述のように、埋め込みは、通常非構造化データの場合に数字形式で表される、あらゆる種類のデータの表現です。それでは、それらをどこに保存するのでしょうか？伝統的なRDBMS（リレーショナルデータベース管理システム）では、これらのベクトル埋め込みを保存することはできません。これがベクトルストア/ベクトルデータベースの登場する場所です。ベクトルデータベースは、効率的な方法でベクトル埋め込みを保存および取得するために設計されています。埋め込みモデルのサポートや似たようなベクトルを取得するために使用する検索アルゴリズムの種類によって異なる多くのベクトルストアが存在します。 Qdrantとは何ですか？ Qdrantは、新しいベクトル類似度検索エンジンおよびベクトルデータベースであり、安全性で知られるRust言語で構築された本番向けのサービスを提供しています。 Qdrantは、メタデータであるペイロードが付加された高次元ポイント（ポイントはベクトル埋め込みのこと）を保存、検索、管理するために設計されたユーザーフレンドリーなAPIを備えています。これらのペイロードは有用な情報となり、検索の精度向上およびユーザーへの洞察を提供します。Chromaなど他のベクトルデータベースに精通している方であれば、ペイロードはメタデータに似ており、ベクトルに関する情報を含んでいます。 Rustで書かれていることにより、Qdrantは高負荷下でも高速で信頼性のあるベクトルストアとなっています。他のデータベースとの違いは、Qdrantが提供するクライアントAPIの数です。現在、QdrantはPython、TypeScript/JavaScript、Rust、およびGoをサポートしています。QdrantはベクトルインデックスにHSNW（階層ナビゲーション小世界グラフ）を使用しており、コサイン、ドット、ユークリッドなどの多くの距離尺度を備えています。また、ボックスから推奨APIも利用できます。 Qdrantの用語を知る…

AI-パワード自然言語クエリによる知識発見

この記事では、私が取り組んできたUE5_documentalistという概念証明プロジェクトを共有したいと思いますこれは、自然言語処理（NLP）を使用して、大量のドキュメンテーションをより効果的に利用できる可能性があるというエキサイティングなプロジェクトですこのプロジェクトではUnreal Engine 5のドキュメンテーションに取り組んだのですが、それは...

アマゾンセージメーカースタジオを使用して、素早い実験結果のためにLlama 2、LangChain、およびPineconeを使用してRAG型の質問応答ソリューションを構築しましょう

「Retrieval Augmented Generation（RAG）は、ファインチューニングなしで大規模言語モデル（LLM）に外部の知識源（リポジトリ、データベース、APIなど）へのアクセスを提供することができます質問応答に対して生成的AIを使用する際、RAGはLLMが最も関連性の高い最新情報で質問に回答し、必要に応じて引用することができるようにします...」

LangChain、Amazon SageMaker JumpStart、およびMongoDB Atlasの意味検索を利用した検索増強生成

生成AIモデルは、企業の業務を革命化する可能性がありますが、企業はデータの保護やAI生成コンテンツの品質を確保しながら、そのパワーを活用する方法を慎重に考慮する必要があります検索強化生成（RAG）フレームワークは、ドキュメントリポジトリ、データベース、APIなど、複数のソースからの外部データをプロンプトに追加することで、アイデアの生成を支援します

LangChain チートシート — すべての秘密を1ページにまとめました

作成されたワンページは、LangChainの基本をまとめたものですこの記事では、コードのセクションを進めて行き、LangChainで成功するために必要なスターターパッケージについて説明しますLangChainにおけるモデルは…

「画像のためのモダンなセマンティック検索」

「数年前の「あの一枚の写真」を見つけたいんですね場面に関するいくつかの具体的な情報を覚えているんですが、Apple Photosでは意味検索ができず、Google Photosでも制限がありますので…」

「検索強化生成（RAG）理論からLangChainの実装へ」

「LangChain、OpenAI、およびWeaviateを使用したPythonでの検索増強生成（RAG）の実装例」

Learn more about Search Results Vector Embeddings - Page 3