Search Results 報告書

LLama Indexを使用してRAGパイプラインを構築する

イントロダクション最も人気のある大規模言語モデル（LLM）の応用の一つは、カスタムデータセットに関する質問に回答することです。ChatGPTやBardなどのLLMは、優れたコミュニケーターであり、彼らが訓練されたものに関してはほとんど何でも答えることができます。これはLLMの最大のボトルネックの一つでもあります。彼らはモデルの訓練中に見た質問にしか答えられません。言語モデルは世界の知識に制限があります。例えば、Chatgptは2021年までのデータを利用して訓練されています。また、GPTはあなたの個人ファイルについて学ぶ方法はありません。では、モデルにまだ持っていない知識をどのようにして認識させることができるでしょうか？その答えが「検索補完生成パイプライン（RAG）」です。この記事では、RAG（検索補完生成）パイプラインについて学び、LLamaインデックスを使用してそれを構築する方法について説明します。学習目標 RAG（検索補完生成）とは何か、またいつ使用するべきかを探求する。 RAGの異なるコンポーネントについて簡単に理解する。 Llamaインデックスについて学び、PDFのためのシンプルなRAGパイプラインを構築する方法を理解する。埋め込みとベクトルデータベースとは何か、またLlamaインデックスの組み込みモジュールを使用してPDFから知識ベースを構築する方法を学ぶ。 RAGベースのアプリケーションの実世界での使用例を発見する。この記事はData Science Blogathonの一環として公開されました。 RAGとは何ですか？ LLMは、これまでのところ最も効率的かつ強力なNLPモデルです。翻訳、エッセイの執筆、一般的な質問応答の分野でLLMの潜在能力を見てきました。しかし、特定のドメインに特化した質問応答においては、彼らは幻覚に苦しんでいます。また、ドメイン固有のQAアプリでは、クエリごとに関連する文脈を持つドキュメントはわずかです。したがって、ドキュメントの抽出から回答生成、およびその間のすべてのプロセスを統合する統一されたシステムが必要です。このプロセスは「検索補完生成」と呼ばれています。詳しくはこちらを参照：AIにおける検索補完生成（RAG）では、なぜRAGが実世界の特定のドメインに特化したQAアプリケーションの構築に最も効果的なのかを理解しましょう。なぜRAGを使用すべきか？ LLMが新しいデータを学ぶ方法は3つあります。トレーニング：兆個のトークンと数十億のパラメータを持つニューラルネットワークの大規模なメッシュが使用されて、大規模言語モデルを作成するために訓練されます。ディープラーニングモデルのパラメータは、特定のモデルに関するすべての情報を保持する係数または重みです。GPT-4のようなモデルを訓練するには、数億ドルがかかります。この方法は誰にでも容易にはできません。このような巨大なモデルを新しいデータで再訓練することは実現不可能です。ファインチューニング：別のオプションとして、既存のデータに対してモデルをファインチューニングすることが考えられます。ファインチューニングは、トレーニング中に事前に訓練されたモデルを起点として使用することを意味します。事前に訓練されたモデルの知識を利用して、異なるデータセット上で新たなモデルを訓練します。これは非常に強力ですが、時間とお金の面で高コストです。特別な要件がない限り、ファインチューニングは意味がありません。プロンプティング：プロンプティングは、LLMのコンテキストウィンドウ内に新しい情報を適応させ、提示された情報からクエリに回答させる方法です。これは、訓練やファインチューニングで学んだ知識ほど効果的ではありませんが、ドキュメントの質問応答など多くの実世界のユースケースには十分です。テキストドキュメントからの回答を促すことは効果的ですが、これらのドキュメントはしばしばLarge Language Models（LLM）のコンテキストウィンドウよりもはるかに大きくなるため、課題を提起します。リトリーバルオーグメンテッドジェネレーション（RAG）パイプラインは、関連するドキュメントセクションの処理、保存、および検索を行うことで、LLMが効率的にクエリに答えることができるようにします。それでは、RAGパイプラインの重要なコンポーネントについて議論しましょう。 RAGコンポーネントとは何ですか？…

「ウォルマート、よりパーソナライズされたショッピング体験を提供するためにAIを活用」

小売りの巨人ウォルマートは、顧客により個人に合わせたショッピング体験を提供するためにAIを活用しようとしています同社がAIを使ったプログラムを利用するのは初めてではありません今年早くも、ウォルマートはAIパワードのアプリを本社の従業員向けに作成しましたフォックスニュースの報道によれば...

「良い説明がすべてです」

私は大規模な言語モデル（LLM）をしばらく使っていますが、個人のプロジェクトや日常の仕事の一環として使用しています多くの人々と同様に、これらのパワフルな機能に興奮しています...

業界のCEOたちはAIを「最優先の投資対象」として今後の動向を見ている

「予期せぬわけではありませんが、AIが急速に多くの業界で拡大していることから明らかなように、経営者たちは競争力を得るためにそれを利用しようとしていますAxiosの報告によると、新しい調査では、アメリカの経営者の72％以上が生成型AIを「最優先投資」の対象としていると言われています...」

「ソーシャルメディアと機械学習を使用して明らかになる、公園の質の格差」

この研究は、ソーシャルメディアと機械学習を利用して、フィラデルフィアの都市公園における環境不正義を示しています

「なぜSQLはデータサイエンスのために学ぶべき言語なのか」

SQLは、普遍的なデータベースへのアクセス可能性、効率的なデータのクリーニング機能、他の言語とのシームレスな統合、およびほとんどのデータサイエンスの仕事で必要とされるため、重要なデータサイエンスの言語です

SQL

「ジェンAIの時代：新たな始まり」

イントロダクション急速に進化するテクノロジーの世界で、我々は新たな時代の予感に包まれています。それは、かつて人間にしか備わっていなかったような知性を持つかのように見える機械が存在する時代です。私たちはこの時代を、「ジェン・AI時代」と呼びたいと思います。この時代は、AIの成長の継続だけでなく、本当に変革的なものの始まりを象徴しています。この記事では、大規模言語モデル（LLM）の成長、それらの実用的な企業ソリューションでの応用、それらを支えるアーキテクチャやサービス、そしていくつかの優れたLLMの比較について詳しく掘り下げていきます。学習目標：大規模言語モデル（LLM）の成長と採用の拡大、およびジェン・AI時代の到来における役割を理解する。 LLMの実用的な企業ソリューションでの応用（コンテンツ生成、データ要約、さまざまな産業の自動化など）を特定する。 LLMの使用に関連する倫理的考慮事項と責任あるAIの実践について、ガイドライン、データプライバシー、従業員の意識などを理解する。大規模言語モデル（LLM）の成長を探る LLMの実用的な応用に入る前に、この分野が最近どれほど成長してきたかを理解することが重要です。LLMは、マイクロソフトやグーグルなどの企業がその開発に多額の投資をしていることで、テック界隈を席巻しています。LLM APIを試験的に利用する企業数は急増しており、自然言語処理（NLP）とLLMの採用も増加しており、年間成長率は驚異の411%です。特にインドはLLMへの投資のホットスポットとなっており、マイクロソフトやグーグルなどの主要プレイヤーがこの領域で大きな進展をしています。テック巨人たちは互いに優れたモデルを作り出すことを競い合っており、その結果、テック・マヒンドラの「インダス」というインド特化のカスタムLLMなどのイノベーションが生まれています。リライアンスもLLMレースに参入し、インド固有のアプリケーションに注力しています。この関心と投資の増加は、ジェン・AI時代の幕開けを告げています。企業ソリューションにおけるLLMの実用的な応用ここからは、企業ソリューションにおけるLLMの実用的な応用に焦点を移しましょう。消費者がLLMを詩やレシピの生成などの創造的なタスクに使用するのとは異なり、企業世界は異なるニーズを持っています。ここでの応用範囲は、詐欺検出のための財務データの分析から、営業やマーケティングにおける顧客行動の理解まで多岐にわたります。LLMは、コンテンツの生成、応答の自動化、さまざまなビジネス領域（金融、人事、法務、保険など）での意思決定プロセスの支援において重要な役割を果たしています。 LLMベースのソリューションのアーキテクチャとサービス LLMベースのソリューションのアーキテクチャは複雑でありながら魅力的です。LLMは要約と検索モデルです。効率的にコンテンツを処理するためには、プロンプトでそのフォーカスを定義し、トークンでコンテンツを処理する必要があります。アーキテクチャでは、Form RecognizerやFAISS Indexなどのサービスを使用して、大量のドキュメントをベクトル化して格納します。これらのサービスは、ユーザーが定義したプロンプトに基づいて類似性検索を行い、正確な応答を提供します。言語モデルとクラウドサービスの選択は、ドキュメントのサイズや場所などの要素によって異なります。 LLMの比較：OpenAI、マイクロソフト、グーグルなど OpenAI、マイクロソフト、グーグルなどのLLMを比較すると、それらが提供する多様な能力と応用が明らかになります。OpenAIのモデルであるGPT-3は、Q&Aシナリオで優れたパフォーマンスを発揮します。一方、Codexは開発者向けに特化し、自然言語をコードに変換します。DALL-Eはプロンプトに基づいて画像を生成することに特化し、ChatGPT-4はチャットボットやコールセンターなどのアプリケーションに最適な会話エンジンです。 MicrosoftのLLMスイートには、GPT-3.5などのLLMが含まれており、これらはForm Recognizerなどの他のAzureサービスと組み合わせてエンドツーエンドのソリューションを提供しています。Microsoftは、消費者の検索、マッチング、およびメール管理に焦点を当てつつ、チームやコールセンターなどの他の領域にも徐々に拡大しています。一方、Googleは、 BARDなどのモデルを使用し、消費者および法人のニーズに対応しています。彼らの基本モデルはテキスト、チャット、コード、画像、ビデオをサポートし、会話型AIからエンタープライズ検索、Vortex AIを介したエンドツーエンドのソリューションまでさまざまなアプリケーションに対応しています。これらの巨大なLLM以外にも、LLaMA-1-7B、Falcon、WizardLMなどの他のLLMも独自の機能とパラメータを備えています。LLMが真実の回答を提供することを保証することは、信頼性を評価する上で重要な要素です。…

「ML（Machine Learning）製品に自信を持つことを忘れないでください」

「ほとんど毎日、私たちは新しい機械学習の製品、サービス、またはデータセットの発売を発見しますAIの時代ですが、これらの製品のほとんどがユーザーに自信の程度をどれだけ知らせるかをあまり報告していません...」

AIを活用してホームレスを防ぐ：ロサンゼルスのゲームチェンジャー

NPRによる新しいレポートでは、ホームレス問題が大幅な取り組みと投資にもかかわらず悪化し続けるロサンゼルスの広がりを、ホームレスを予測して予防するためにAIを試みていることを紹介していますレポートは、ダルセ・ヴォランティンとバラリー・ザヤスの二人の個人の物語から始まります...

「2023年に試してみることができるChatGPTのトップ22の代替品（無料および有料）」

ChatGPTは、さまざまなタスクにおいて最も有名で一般的に使用されているAIツールです。さまざまなコースや教材があり、その潜在能力を最大限に統合し活用するための知識も豊富なため、定期的に利用しているユーザーは関連する課題にもおなじみです。2021 年までは信頼性に欠け、限定的な知識しか持たなかったため、個人は代替手段を探し出すことを余儀なくされていました。検索を終了するため、ここではChatGPTの代替手段のリストをご紹介します。オプションを探索して、新しいお気に入りのAIを見つけましょう。ライティング用のChatGPTの代替手段 1. Chatsonic (Writesonic) (無料および有料) このAIは、ChatGPTに似ていますが、ライティングで強化された機能を備えています。GPT-4の機能を活用しています。これは、カスタマイズ可能で使いやすい機能を提供する会話型AIであり、NLPおよびML技術を備えたものです。Googleの検索トレーニングによって、現在のイベントやトレンド情報を取り入れることができます。プロンプト: クラス5の子供にAditya L-1について説明するための100語の魅力的なコンテンツを生成してください。アクセスはこちら: Writesonic 2. Claude (無料および有料) Anthropicによる次世代の会話型AIです。Claudeは複数の入力を同時に受け付けることができます。ユーザーに役立ち、正直な無害なAIシステムを生成することを重視して開発されました。Claude AIは創造的なライティング、コーディング、および質問への回答が可能です。個々の利用に向け、異なる振る舞い、パーソナリティ、トーンに切り替えることができます。プロンプト: インドへのイギリスの侵略につながった出来事の年表を列挙してください。アクセスはこちら: Anthropic Claude もっと読む:…

Learn more about Search Results 報告書 - Page 8