Search Results Vector Embeddings

『Talent.com』において

この投稿は、アナトリー・ホメンコ（機械学習エンジニア）とアブデノール・ベズーウ（テクノロジー担当最高技術責任者）によって共同執筆されました2011年に設立されたTalent.comは、世界最大級の雇用情報のソースの一つです同社は、クライアントの有料求人リストと公開求人リストを統合し、1つの検索可能なプラットフォームにまとめています登録されている求人は3,000万件以上あります[…]

「カスタマイズされたLLMパワードAIアシスタントで研究を強化する」

イントロダクション情報が溢れる世界で、効率的に関連データにアクセスし抽出することは非常に貴重です。ResearchBotは、OpenAIのLLM（Large Language Models）とLangchainを組み合わせた情報検索のための先進的なLLMパワードアプリケーションプロジェクトです。この記事は、自分自身でResearchBotを作成し、現実の生活でどのように役立つかのステップバイステップガイドのようなものです。まるでデータの海から必要な情報を見つける知的なアシスタントを持っているようなものです。コーディングが好きであるかAIに興味があるかにかかわらず、このガイドは、カスタマイズされたLLMパワードAIアシスタントを使用して研究を強化するのに役立つものです。これは、LLMの潜在能力を引き出し、情報へのアクセス方法を革新するための旅です。学習目標 LLM（Large Language Models）、Langchain、ベクトルデータベース、埋め込みなど、より深い概念を理解する。 LLMとResearchBotのリアルワールドの応用例を研究、カスタマーサポート、コンテンツ生成などの分野で探求する。既存のプロジェクトやワークフローにResearchBotを統合するためのベストプラクティスを見つけ、生産性と意思決定を改善する。データの抽出とクエリの回答のプロセスを簡素化するためにResearchBotを構築する。 LLMテクノロジーの動向を把握し、情報へのアクセスと使用方法を革新する潜在能力について最新の情報を得る。この記事はデータサイエンスブロガソンの一部として公開されました。 ResearchBotとは何ですか？ ResearchBotは、LLM（Large Language Models）によって動力を得る研究アシスタントです。さまざまな業界のプロフェッショナルにとって素晴らしいパートナーとなり、コンテンツを迅速にアクセスし要約することができる革新的なツールです。複数の記事、文書、ウェブページを読み理解し、関連性のある短い要約を提供できる個人的なアシスタントを想像してみてください。私たちのResearchBotは、研究目的に必要な時間と労力を削減することを目指しています。実世界の使用例金融分析: 最新の市場ニュースを把握し、金融に関するクエリに素早く回答します。ジャーナリズム: 記事のための背景情報、ソース、参考資料を効率的に収集します。医療:…

LLama Indexを使用してRAGパイプラインを構築する

イントロダクション最も人気のある大規模言語モデル（LLM）の応用の一つは、カスタムデータセットに関する質問に回答することです。ChatGPTやBardなどのLLMは、優れたコミュニケーターであり、彼らが訓練されたものに関してはほとんど何でも答えることができます。これはLLMの最大のボトルネックの一つでもあります。彼らはモデルの訓練中に見た質問にしか答えられません。言語モデルは世界の知識に制限があります。例えば、Chatgptは2021年までのデータを利用して訓練されています。また、GPTはあなたの個人ファイルについて学ぶ方法はありません。では、モデルにまだ持っていない知識をどのようにして認識させることができるでしょうか？その答えが「検索補完生成パイプライン（RAG）」です。この記事では、RAG（検索補完生成）パイプラインについて学び、LLamaインデックスを使用してそれを構築する方法について説明します。学習目標 RAG（検索補完生成）とは何か、またいつ使用するべきかを探求する。 RAGの異なるコンポーネントについて簡単に理解する。 Llamaインデックスについて学び、PDFのためのシンプルなRAGパイプラインを構築する方法を理解する。埋め込みとベクトルデータベースとは何か、またLlamaインデックスの組み込みモジュールを使用してPDFから知識ベースを構築する方法を学ぶ。 RAGベースのアプリケーションの実世界での使用例を発見する。この記事はData Science Blogathonの一環として公開されました。 RAGとは何ですか？ LLMは、これまでのところ最も効率的かつ強力なNLPモデルです。翻訳、エッセイの執筆、一般的な質問応答の分野でLLMの潜在能力を見てきました。しかし、特定のドメインに特化した質問応答においては、彼らは幻覚に苦しんでいます。また、ドメイン固有のQAアプリでは、クエリごとに関連する文脈を持つドキュメントはわずかです。したがって、ドキュメントの抽出から回答生成、およびその間のすべてのプロセスを統合する統一されたシステムが必要です。このプロセスは「検索補完生成」と呼ばれています。詳しくはこちらを参照：AIにおける検索補完生成（RAG）では、なぜRAGが実世界の特定のドメインに特化したQAアプリケーションの構築に最も効果的なのかを理解しましょう。なぜRAGを使用すべきか？ LLMが新しいデータを学ぶ方法は3つあります。トレーニング：兆個のトークンと数十億のパラメータを持つニューラルネットワークの大規模なメッシュが使用されて、大規模言語モデルを作成するために訓練されます。ディープラーニングモデルのパラメータは、特定のモデルに関するすべての情報を保持する係数または重みです。GPT-4のようなモデルを訓練するには、数億ドルがかかります。この方法は誰にでも容易にはできません。このような巨大なモデルを新しいデータで再訓練することは実現不可能です。ファインチューニング：別のオプションとして、既存のデータに対してモデルをファインチューニングすることが考えられます。ファインチューニングは、トレーニング中に事前に訓練されたモデルを起点として使用することを意味します。事前に訓練されたモデルの知識を利用して、異なるデータセット上で新たなモデルを訓練します。これは非常に強力ですが、時間とお金の面で高コストです。特別な要件がない限り、ファインチューニングは意味がありません。プロンプティング：プロンプティングは、LLMのコンテキストウィンドウ内に新しい情報を適応させ、提示された情報からクエリに回答させる方法です。これは、訓練やファインチューニングで学んだ知識ほど効果的ではありませんが、ドキュメントの質問応答など多くの実世界のユースケースには十分です。テキストドキュメントからの回答を促すことは効果的ですが、これらのドキュメントはしばしばLarge Language Models（LLM）のコンテキストウィンドウよりもはるかに大きくなるため、課題を提起します。リトリーバルオーグメンテッドジェネレーション（RAG）パイプラインは、関連するドキュメントセクションの処理、保存、および検索を行うことで、LLMが効率的にクエリに答えることができるようにします。それでは、RAGパイプラインの重要なコンポーネントについて議論しましょう。 RAGコンポーネントとは何ですか？…

複数モードモデルとは何ですか？

基礎となる大規模言語モデル（LLM）は、巨大なデータセットで事前トレーニングされており、ゼロショット、フューショット、または転移学習を通じて、一般的なマルチタスク処理をかなり効率的に行うことができます実際には...

「ベクターデータベースを使用してLLMアプリを作成する方法」

イントロダクション人工知能の領域では、OpenAIのGPT-4、AnthropicのClaude 2、MetaのLlama、Falcon、GoogleのPalmなど、Large Language Models（LLMs）やGenerative AIモデルが問題解決の方法を革新しています。LLMsはディープラーニングの技術を使用して、自然言語処理のタスクを実行します。この記事では、ベクトルデータベースを使用してLLMアプリを構築する方法を紹介します。おそらくAmazonの顧客サービスやFlipkartのDecision Assistantのようなチャットボットと対話したことがあるかもしれません。それらは人間に近いテキストを生成し、実際の会話と区別がつきにくいインタラクティブなユーザーエクスペリエンスを提供します。しかし、これらのLLMsは最適化する必要があります。特定のユースケースに対して非常に関連性が高く具体的な結果を生成するようにするためには。例えば、Amazonの顧客サービスアプリに「Androidアプリで言語を変更する方法は？」と尋ねた場合、正確にこのテキストでトレーニングされていないため、答えることができないかもしれません。ここでベクトルデータベースが助けになります。ベクトルデータベースは、ドメインのテキスト（この場合はヘルプドキュメント）と、注文履歴などを含むすべてのユーザーの過去のクエリを数値の埋め込みとして保存し、リアルタイムで似たようなベクトルの検索を提供します。この場合、このクエリを数値ベクトルにエンコードし、ベクトルデータベース内で類似のベクトルを検索し、最も近い隣人を見つけるために使用します。このようなヘルプを通じて、チャットボットはユーザーを正しくAmazonアプリの「言語設定の変更」セクションに案内できます。学習目標 LLMsの動作原理、制約、およびベクトルデータベースの必要性について学ぶ。埋め込みモデルの紹介と、アプリケーションでのエンコードと使用方法について学ぶ。ベクトルデータベースとそれがLLMアプリケーションアーキテクチャの一部である方法について学ぶ。ベクトルデータベースとTensorFlowを使用してLLM/Generative AIアプリケーションをコーディングする方法を学ぶ。この記事はデータサイエンスブログマラソンの一環として公開されました。 LLMsとは何ですか？ Large Language Models（LLMs）は、自然言語を処理し理解するためにディープラーニングアルゴリズムを使用する基本的な機械学習モデルです。これらのモデルは大量のテキストデータでトレーニングされ、言語のパターンやエンティティの関係を学習します。LLMsは、言語の翻訳、感情分析、チャットボットの会話などのさまざまなタイプの言語タスクを実行することができます。彼らは複雑なテキストデータを理解し、エンティティとそれらの間の関係を識別し、統率的で文法的に正確な新しいテキストを生成することができます。 LLMsについてもっと詳しく読む。 LLMsはどのように動作するのですか？ LLMsは大量のデータ（しばしばテラバイト、さらにはペタバイト）を使用してトレーニングされ、数十億または数兆のパラメータを持ち、ユーザーのプロンプトやクエリに基づいて関連する応答を予測および生成することができます。入力データをワード埋め込み、自己注意層、およびフィードフォワードネットワークを通じて処理し、意味のあるテキストを生成します。LLMアーキテクチャについてもっと読むことができます。 LLMsの制約 LLMsは非常に高い精度で応答を生成するように見えますが、多くの標準化テストでは人間を超える結果を示すことがありますが、それでもこれらのモデルには制約があります。まず第一に、彼らは自身のトレーニングデータに頼ることだけで推論を行い、データ内の特定の情報や現在の情報が欠けているかもしれません。これにより、モデルが誤ったまたは異常な応答を生成することがあります（「幻覚」とも言われます）。これを軽減するための取り組みが継続中です。第二に、モデルはユーザーの期待に合致するように振る舞ったり応答するとは限りません。…

「注意シンクとキャッシュの配置場所 – ストリーミングLLM実装のビジュアルガイド」

最新のAI論文の一つは、テキストのための効率的で無制限の大きさのコンテキストウィンドウを可能にする、Generative Pre-training Transformer（GPT）モデルアーキテクチャのための技術です

「LangChainとOpenAIを使用して文書の理解を向上させる方法」

ジェネレーティブAIと言語モデルの飛躍的な成長により、文書から情報を理解し抽出する能力が向上しており、私たちはGPTのような機械が人間を支援する新たな時代を目撃しています

「トランスフォーマー – 直感的かつ徹底的に解説される」

「この記事では、トランスフォーマーアーキテクチャについて学びますこのアーキテクチャは、ほぼすべての最先端の大規模言語モデルの中核部分ですまずは、いくつかの簡単な年表をもとに始めましょう...」

「AWS AI サービスと Amazon Bedrock によるインテリジェントドキュメント処理」

ヘルスケア、ファイナンス、法律、小売、製造などの業界の企業は、日々の業務の一環として大量の書類を扱うことがよくありますこれらの書類には、タイムリーな意思決定を促進し、一流の顧客満足度を確保し、顧客の離反を減らすために不可欠な重要情報が含まれています伝統的には、書類からのデータの抽出は...

Amazon

HNSW（Hierarchical Navigable Small World）への序章

イントロダクション AIの革新は驚異的なスピードで進んでいます。その革新のひとつがベクトル検索エンジンです。では、これらの検索エンジンとは何でしょうか？簡単に言えば、大規模な言語モデル(LLM)を訓練するためのもので、大量のデータセットを徹底的に調査し、関連する情報を選び出します。さて、このインデックス付けは、ベクトルデータベース内でさまざまな方法で行われますが、その中でも階層的ナビゲーション可能な小世界(HNSW)はパフォーマンスと拡張性に優れています。主要なベクトルストアはすべて、HNSWをインデックスメソッドとして提供しています。HNSWは高速で効率的、堅牢かつ信頼性があります。今回の記事では、HNSWの内部機能を解説し、なぜそれほど速いのかについて学びます。学習目標埋め込みとベクトルデータベースの理解。ベクトルデータベースにおけるインデックスの異なる方法について知る。 HNSWとは何か、その仕組みを学ぶ。 HNSWlib、ヘッダのみのHNSW実装を理解する。この記事は、Data Science Blogathonの一部として公開されました。埋め込みとは何ですか？埋め込みとは、データ（テキスト、画像）のベクトル表現です。意味的に関連するデータはベクトル空間で近接しており、異なるデータは離れています。言い換えれば、Messiやサッカーの埋め込みは埋め込み空間で近くに位置し、サッカーやJoe Bidenの埋め込みは埋め込み空間で遠くに位置しています。ベクトルの長さは数百から数千以上に及ぶことがあります。そのため、格納、クエリ、検索が困難です。しかし、リトリーバル強化生成（RAG）ベースのアプリケーションでは、データの埋め込みの高速な検索とクエリが必要です。ここでベクトルデータベースが登場します。ベクトルデータベースとは何ですか？従来のデータベースが構造化および非構造化データを格納することを目指しているのと同様に、ベクトルデータベースは高次元ベクトルの埋め込みを格納し、検索およびクエリを行います。ユーザーフレンドリーなインターフェースを提供し、埋め込みと関連データを操作できるようにします。ベクトルデータベースは基本的には従来のデータベースとは異なりません。ベクトルデータベースはシリアライズされた埋め込みを格納するために従来のデータベースを使用します。例えば、Chromaはメモリ内ストレージとしてSQLiteを使用し、Pgvectorは埋め込みと関連するメタデータを格納するためにPostgresデータベースを使用します。従来のデータベースとベクトルデータベースの違いは、基礎となるインデックスアルゴリズムです。ベクトルデータベースでのインデックス作成インデックス作成とは、最も近い近傍ベクトルの効率的なクエリを提供するために、高次元ベクトルを組織化するプロセスを指します。これは任意のベクトルデータベースの構築において最も重要な部分です。これらのインデックスは高次元埋め込みの高速かつ効率的なクエリを可能にします。ベクトルインデックスを作成するためには、次のような複数のインデックス作成方法があります。線形検索アルゴリズム（フラットインデックス）：これは線形検索アルゴリズムであり、データベースに格納されているすべてのベクトルとクエリベクトルを比較します。これは最も単純な方法であり、小規模なデータセットではうまく動作します。クラスタベースアルゴリズム（IVF）：反転ファイルはクラスタベースのインデックス技術です。k-meansクラスタリングを使用してすべてのベクトルをクラスタ化します。クエリベクトルが提供されると、クエリベクトルと各クラスタの重心の距離を計算します。そして、クエリベクトルに最も近い重心を持つクラスタで最近傍ベクトルを検索します。これにより、クエリ時間が大幅に短縮されます。量子化（スカラーおよびプロダクト量子化）：量子化技術は、大規模な埋め込みのメモリフットプリントを削減するために、精度を低下させる方法です。グラフベース（HNSW）：最も一般的なインデックス作成方法です。階層的なグラフアーキテクチャを使用してベクトルをインデックスします。そして、これについても探索します。…

Learn more about Search Results Vector Embeddings - Page 5