Search Results リポジトリ

「OpenAIキーなしでPDFおよび記事のための強力なチャットアシスタントを作成する」

イントロダクション自然言語処理の世界は、特に大規模な言語モデルの登場により、膨大な拡大を遂げています。これらのモデルは、この分野を革新し、誰でも利用できるようにしました。この記事では、オープンソースライブラリを使用して、与えられた記事（またはPDF）を基に質問に応答できる強力なチャットアシスタントを作成するためのNLP（自然言語処理）のテクニックを探求し、実装していきます。OpenAIのAPIキーは必要ありません。この記事は、データサイエンスブログマラソンの一環として公開されています。ワークフローこのアプリケーションのワークフローは以下の通りです：ユーザーは、PDFファイルまたは記事のURLを提供し、質問を行います。このアプリケーションは、提供されたソースに基づいて質問に答えることを試みます。私たちは、PYPDF2ライブラリ（PDFファイルの場合）またはBeautifulSoup（記事のURLの場合）を使用してコンテンツを抽出します。次に、langchainライブラリのCharacterTextSplitterを使用して、それをチャンクに分割します。各チャンクに対して、all-MiniLM-L6-v2モデルを使用して、対応する単語埋め込みベクトルを計算します。このモデルは、文章や段落を384次元の密なベクトル空間にマッピングするためのものです（単語埋め込みは、単語/文章をベクトルとして表現する技術の一つです）。同じ技術がユーザーの質問にも適用されます。これらのベクトルは、sentence_transformersというPythonのフレームワークが提供する意味的検索関数に入力されます。sentence_transformersは、最先端の文、テキスト、画像埋め込みを行うためのフレームワークです。この関数は、答えを含む可能性があるテキストチャンクを返し、質問応答モデルは、semantic_searchとユーザーの質問の出力に基づいて最終的な答えを生成します。注意すべてのモデルは、HTTPリクエストのみを使用してAPI経由でアクセス可能です。コードはPythonを使用して書かれます。 FAQ-QNは、より詳細な情報についてはFAQセクションを参照することを示すキーワードです。実装このセクションでは、実装についてのみに焦点を当て、詳細はFAQセクションで提供されます。依存関係依存関係をダウンロードし、それらをインポートすることから始めます。 pip install -r requirements.txt numpytorchsentence-transformersrequestslangchainbeautifulsoup4PyPDF2 import…

「ウィキペディアの知識を持つエージェントを備えたLLaMa 2を作成する」

大規模言語モデル（LLMs）は、AIの最新トレンドの一つですこれらは、人間との会話を行う能力を含む、印象的なテキスト生成能力を示しています...

(LLMを活用したこきゃくセグメンテーションのマスタリング)

LLMを使用して高度な顧客セグメンテーション技術を解除しましょう高度な技術を用いてクラスタリングモデルを向上させ、エキスパートになりましょう

「LangChain、Google Maps API、およびGradioを使用したスマートな旅行スケジュール提案システムの構築（パート3）」

この三部作の二部では、LLMの通話セットから解析されたウェイポイントのリストを取得し、Google Maps APIとFoliumを使用してルートを生成するシステムを構築しました...

‘未知に挑む検索強化生成 (RAG) | AIが人間の知識と出会う場所’

導入私たちの高速なデジタル世界では、人工知能はその驚くべき能力で私たちを驚かせ続けています。その最新のブレイクスルーの一つが、RAG（Retrieval Augmented Generation）として愛されています。このイノベーションは、司書と作家のスキルを融合させたようなデジタルの魔法使いのような存在です。これは私たちが情報を見つけて解釈する方法を変え、知識にアクセスすることが以前よりも簡単で洞察力に富む未来を約束しています。学習目標 Retrieval Augmented Generation (RAG)の基本的な概念を理解する。 RAGが検索と生成のAIアプローチを組み合わせる方法を理解する。クエリから応答まで、RAGの内部動作に洞察する。効率性とカスタマイズ性の観点から、RAGの重要性を認識する。さまざまな分野でのRAGの多様な応用を発見する。 RAG技術の将来の発展と影響を展望する。広範なデジタル知識と人間の相互作用のギャップを埋めるRAGの価値を認識する。この記事は、Data Science Blogathonの一部として公開されました。 RAGとは何ですか？まずは基本から理解しましょう。RAGは、2つの異なるAIアプローチを組み合わせています：出典 – Hyro 検索…

Amazon SageMakerを使用して、ML推論アプリケーションをゼロから構築し、展開する

機械学習（ML）が主流化し、広く採用されるにつれて、MLを活用した推論アプリケーションは複雑なビジネス問題を解決するためにますます一般的になっていますこれらの複雑なビジネス問題の解決には、複数のMLモデルとステップを使用することがしばしば必要ですこの記事では、カスタムコンテナを使用してMLアプリケーションを構築・ホストする方法をご紹介します

このAIニュースレターは、あなたが必要とするすべてです #66

AIの今週のトピックスでは、OpenAIが再び注目を浴びましたChatGPTに新たな音声と画像の機能を追加する計画が発表されたからですまた、LLMレースも熱を帯び続けており、Amazon...

「読むべき創造的エージェント研究論文」

見逃せないエキサイティングな分野に関する研究論文

Artificial Intelligence

アマゾンセージメーカーでのLlama 2のベンチマーク

大型言語モデル（LLM）や他の生成型AIモデルの展開は、計算要件とレイテンシのニーズのために課題となることがあります。Hugging Face LLM Inference Containerを使用してAmazon SageMaker上でLlama 2を展開する企業に有用な推奨事項を提供するために、Llama 2の60以上の異なる展開設定を分析した包括的なベンチマークを作成しました。このベンチマークでは、さまざまなサイズのLlama 2をAmazon EC2インスタンスのさまざまなタイプでさまざまな負荷レベルで評価しました。私たちの目標は、レイテンシ（トークンごとのミリ秒）とスループット（秒あたりのトークン数）を測定し、次の3つの一般的なユースケースに最適な展開戦略を見つけることです：最も費用対効果の高い展開：低コストで良好なパフォーマンスを求めるユーザー向け最高のレイテンシ展開：リアルタイムサービスのレイテンシを最小限に抑えるための展開最高のスループット展開：秒あたりの処理トークンを最大化するための展開このベンチマークを公正かつ透明で再現可能なものにするために、使用したすべてのアセット、コード、データを共有しています： GitHubリポジトリ生データ処理済みデータのスプレッドシート私たちは、顧客がLLMsとLlama 2を効率的かつ最適に自社のユースケースに使用できるようにしたいと考えています。ベンチマークとデータに入る前に、使用した技術と手法を見てみましょう。 Amazon SageMaker上のLlama 2のベンチマーク Hugging…

「Amazon SageMakerを使用して、Llama 2モデルのスループット性能を向上させる」

機械学習（ML）の普及において、私たちは興奮する転換点にいます私たちは、ほとんどの顧客の体験やアプリケーションが生成型AIによって再発明されると信じています生成型AIは、会話、物語、画像、ビデオ、音楽などの新しいコンテンツやアイデアを作成することができます生成型AIは、非常に大きなモデルによって駆動されています（...）

Learn more about Search Results リポジトリ - Page 35