Learn more about Search Results pgvector - Page 2

「Amazon Textract、Amazon Bedrock、およびLangChainによるインテリジェントドキュメント処理」

今日の情報時代において、無数の書類に収められた膨大なデータ量は、企業にとって挑戦と機会を同時にもたらします従来の書類処理方法は、効率性や正確さの面でしばしば不十分であり、革新や費用効率化、最適化の余地がありますIntelligent Document Processing（IDP）の登場により、書類処理は大きな進歩を遂げました[…]

RAGアプリケーションデザインにおける実用的な考慮事項

「RAG（Retrieval Augmented Generation）アーキテクチャは、LLMの入力長制限と知識切り上げの問題を効率的に克服することが証明されています現在のLLMテクニカルスタックでは、RAGが…」

「ベクターデータベースを使用してLLMアプリを作成する方法」

イントロダクション 人工知能の領域では、OpenAIのGPT-4、AnthropicのClaude 2、MetaのLlama、Falcon、GoogleのPalmなど、Large Language Models（LLMs）やGenerative AIモデルが問題解決の方法を革新しています。LLMsはディープラーニングの技術を使用して、自然言語処理のタスクを実行します。この記事では、ベクトルデータベースを使用してLLMアプリを構築する方法を紹介します。おそらくAmazonの顧客サービスやFlipkartのDecision Assistantのようなチャットボットと対話したことがあるかもしれません。それらは人間に近いテキストを生成し、実際の会話と区別がつきにくいインタラクティブなユーザーエクスペリエンスを提供します。しかし、これらのLLMsは最適化する必要があります。特定のユースケースに対して非常に関連性が高く具体的な結果を生成するようにするためには。 例えば、Amazonの顧客サービスアプリに「Androidアプリで言語を変更する方法は？」と尋ねた場合、正確にこのテキストでトレーニングされていないため、答えることができないかもしれません。ここでベクトルデータベースが助けになります。ベクトルデータベースは、ドメインのテキスト（この場合はヘルプドキュメント）と、注文履歴などを含むすべてのユーザーの過去のクエリを数値の埋め込みとして保存し、リアルタイムで似たようなベクトルの検索を提供します。この場合、このクエリを数値ベクトルにエンコードし、ベクトルデータベース内で類似のベクトルを検索し、最も近い隣人を見つけるために使用します。このようなヘルプを通じて、チャットボットはユーザーを正しくAmazonアプリの「言語設定の変更」セクションに案内できます。 学習目標 LLMsの動作原理、制約、およびベクトルデータベースの必要性について学ぶ。 埋め込みモデルの紹介と、アプリケーションでのエンコードと使用方法について学ぶ。 ベクトルデータベースとそれがLLMアプリケーションアーキテクチャの一部である方法について学ぶ。 ベクトルデータベースとTensorFlowを使用してLLM/Generative AIアプリケーションをコーディングする方法を学ぶ。 この記事はデータサイエンスブログマラソンの一環として公開されました。 LLMsとは何ですか？ Large Language Models（LLMs）は、自然言語を処理し理解するためにディープラーニングアルゴリズムを使用する基本的な機械学習モデルです。これらのモデルは大量のテキストデータでトレーニングされ、言語のパターンやエンティティの関係を学習します。LLMsは、言語の翻訳、感情分析、チャットボットの会話などのさまざまなタイプの言語タスクを実行することができます。彼らは複雑なテキストデータを理解し、エンティティとそれらの間の関係を識別し、統率的で文法的に正確な新しいテキストを生成することができます。 LLMsについてもっと詳しく読む。 LLMsはどのように動作するのですか？ LLMsは大量のデータ（しばしばテラバイト、さらにはペタバイト）を使用してトレーニングされ、数十億または数兆のパラメータを持ち、ユーザーのプロンプトやクエリに基づいて関連する応答を予測および生成することができます。入力データをワード埋め込み、自己注意層、およびフィードフォワードネットワークを通じて処理し、意味のあるテキストを生成します。LLMアーキテクチャについてもっと読むことができます。 LLMsの制約 LLMsは非常に高い精度で応答を生成するように見えますが、多くの標準化テストでは人間を超える結果を示すことがありますが、それでもこれらのモデルには制約があります。まず第一に、彼らは自身のトレーニングデータに頼ることだけで推論を行い、データ内の特定の情報や現在の情報が欠けているかもしれません。これにより、モデルが誤ったまたは異常な応答を生成することがあります（「幻覚」とも言われます）。これを軽減するための取り組みが継続中です。第二に、モデルはユーザーの期待に合致するように振る舞ったり応答するとは限りません。…

HNSW（Hierarchical Navigable Small World）への序章

イントロダクション AIの革新は驚異的なスピードで進んでいます。その革新のひとつがベクトル検索エンジンです。では、これらの検索エンジンとは何でしょうか？簡単に言えば、大規模な言語モデル(LLM)を訓練するためのもので、大量のデータセットを徹底的に調査し、関連する情報を選び出します。さて、このインデックス付けは、ベクトルデータベース内でさまざまな方法で行われますが、その中でも階層的ナビゲーション可能な小世界(HNSW)はパフォーマンスと拡張性に優れています。主要なベクトルストアはすべて、HNSWをインデックスメソッドとして提供しています。HNSWは高速で効率的、堅牢かつ信頼性があります。今回の記事では、HNSWの内部機能を解説し、なぜそれほど速いのかについて学びます。 学習目標 埋め込みとベクトルデータベースの理解。 ベクトルデータベースにおけるインデックスの異なる方法について知る。 HNSWとは何か、その仕組みを学ぶ。 HNSWlib、ヘッダのみのHNSW実装を理解する。 この記事は、Data Science Blogathonの一部として公開されました。 埋め込みとは何ですか？ 埋め込みとは、データ（テキスト、画像）のベクトル表現です。 意味的に関連するデータはベクトル空間で近接しており、異なるデータは離れています。言い換えれば、Messiやサッカーの埋め込みは埋め込み空間で近くに位置し、サッカーやJoe Bidenの埋め込みは埋め込み空間で遠くに位置しています。 ベクトルの長さは数百から数千以上に及ぶことがあります。そのため、格納、クエリ、検索が困難です。しかし、リトリーバル強化生成（RAG）ベースのアプリケーションでは、データの埋め込みの高速な検索とクエリが必要です。ここでベクトルデータベースが登場します。 ベクトルデータベースとは何ですか？ 従来のデータベースが構造化および非構造化データを格納することを目指しているのと同様に、ベクトルデータベースは高次元ベクトルの埋め込みを格納し、検索およびクエリを行います。ユーザーフレンドリーなインターフェースを提供し、埋め込みと関連データを操作できるようにします。ベクトルデータベースは基本的には従来のデータベースとは異なりません。ベクトルデータベースはシリアライズされた埋め込みを格納するために従来のデータベースを使用します。例えば、Chromaはメモリ内ストレージとしてSQLiteを使用し、Pgvectorは埋め込みと関連するメタデータを格納するためにPostgresデータベースを使用します。従来のデータベースとベクトルデータベースの違いは、基礎となるインデックスアルゴリズムです。 ベクトルデータベースでのインデックス作成 インデックス作成とは、最も近い近傍ベクトルの効率的なクエリを提供するために、高次元ベクトルを組織化するプロセスを指します。 これは任意のベクトルデータベースの構築において最も重要な部分です。これらのインデックスは高次元埋め込みの高速かつ効率的なクエリを可能にします。ベクトルインデックスを作成するためには、次のような複数のインデックス作成方法があります。 線形検索アルゴリズム（フラットインデックス）：これは線形検索アルゴリズムであり、データベースに格納されているすべてのベクトルとクエリベクトルを比較します。これは最も単純な方法であり、小規模なデータセットではうまく動作します。 クラスタベースアルゴリズム（IVF）：反転ファイルはクラスタベースのインデックス技術です。k-meansクラスタリングを使用してすべてのベクトルをクラスタ化します。クエリベクトルが提供されると、クエリベクトルと各クラスタの重心の距離を計算します。そして、クエリベクトルに最も近い重心を持つクラスタで最近傍ベクトルを検索します。これにより、クエリ時間が大幅に短縮されます。 量子化（スカラーおよびプロダクト量子化）：量子化技術は、大規模な埋め込みのメモリフットプリントを削減するために、精度を低下させる方法です。 グラフベース（HNSW）：最も一般的なインデックス作成方法です。階層的なグラフアーキテクチャを使用してベクトルをインデックスします。そして、これについても探索します。…

私が通常のRDBMSをベクトルデータベースに変換して埋め込みを保存する方法

この記事では、一般的なRDBMSを完全に機能したベクトルデータベースに変換して、GenerativeAIアプリケーションの開発に埋め込みを格納する方法について説明します

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us