Search Results Amazon Simple Storage Service

アマゾンセージメーカーの地理空間機能を使用して、齧歯類の被害を分析する

「ネズミやネズミなどのげっ歯類は、多くの健康リスクと関連しており、35以上の病気を広めることが知られています高いネズミの活動がある地域を特定することは、地方自治体や害虫駆除組織が効果的な介入計画を立て、ネズミを駆除するのに役立ちますこの記事では、どのように監視し、視覚化するかを紹介します...」

自分自身のデータを使用して、要約と質問応答のために生成型AI基盤モデルを使用してください

大規模言語モデル（LLM）は、複雑なドキュメントを分析し、要約や質問への回答を提供するために使用することができますAmazon SageMaker JumpStart上の金融データにおけるファインチューニングに関する記事「Foundation Modelsのドメイン適応ファインチューニング」では、独自のデータセットを使用してLLMをファインチューニングする方法について説明しています一度しっかりとしたLLMを手に入れたら、そのLLMを公開したいと思うでしょう

FastAPI、AWS Lambda、およびAWS CDKを使用して、大規模言語モデルのサーバーレスML推論エンドポイントを展開します

データサイエンティストにとって、機械学習（ML）モデルを概念実証から本番環境へ移行することは、しばしば大きな課題を提供します主な課題の一つは、良好なパフォーマンスを発揮するローカルトレーニング済みモデルをクラウドに展開して、他のアプリケーションで使用することですこのプロセスを管理することは手間がかかる場合がありますが、適切なツールを使用することで、...

Light & WonderがAWS上でゲーミングマシンの予測保守ソリューションを構築した方法

この記事は、ライトアンドワンダー（L＆W）のアルナ・アベヤコーン氏とデニス・コリン氏と共同執筆したものですライトアンドワンダーは、ラスベガスを拠点とするクロスプラットフォームゲーム会社であり、ギャンブル製品やサービスを提供していますAWSと協力して、ライトアンドワンダーは最近、業界初の安全なソリューション「Light & Wonder Connect（LnW Connect）」を開発しました[…]

データ体験の再発明：生成的AIと現代的なデータアーキテクチャを使用して、洞察を解き放つ

現代的なデータアーキテクチャを実装することで、異なるソースからのデータを統合するためのスケーラブルな方法が提供されますインフラストラクチャではなくビジネスドメインによってデータを組織化することにより、各ドメインは自分たちのニーズに合ったツールを選択することができます絶え間ない革新を続けながら、ジェネレーティブAIソリューションによって現代的なデータアーキテクチャの価値を最大化することができます自然言語の機能は、[…]

LLama Indexを使用してRAGパイプラインを構築する

イントロダクション最も人気のある大規模言語モデル（LLM）の応用の一つは、カスタムデータセットに関する質問に回答することです。ChatGPTやBardなどのLLMは、優れたコミュニケーターであり、彼らが訓練されたものに関してはほとんど何でも答えることができます。これはLLMの最大のボトルネックの一つでもあります。彼らはモデルの訓練中に見た質問にしか答えられません。言語モデルは世界の知識に制限があります。例えば、Chatgptは2021年までのデータを利用して訓練されています。また、GPTはあなたの個人ファイルについて学ぶ方法はありません。では、モデルにまだ持っていない知識をどのようにして認識させることができるでしょうか？その答えが「検索補完生成パイプライン（RAG）」です。この記事では、RAG（検索補完生成）パイプラインについて学び、LLamaインデックスを使用してそれを構築する方法について説明します。学習目標 RAG（検索補完生成）とは何か、またいつ使用するべきかを探求する。 RAGの異なるコンポーネントについて簡単に理解する。 Llamaインデックスについて学び、PDFのためのシンプルなRAGパイプラインを構築する方法を理解する。埋め込みとベクトルデータベースとは何か、またLlamaインデックスの組み込みモジュールを使用してPDFから知識ベースを構築する方法を学ぶ。 RAGベースのアプリケーションの実世界での使用例を発見する。この記事はData Science Blogathonの一環として公開されました。 RAGとは何ですか？ LLMは、これまでのところ最も効率的かつ強力なNLPモデルです。翻訳、エッセイの執筆、一般的な質問応答の分野でLLMの潜在能力を見てきました。しかし、特定のドメインに特化した質問応答においては、彼らは幻覚に苦しんでいます。また、ドメイン固有のQAアプリでは、クエリごとに関連する文脈を持つドキュメントはわずかです。したがって、ドキュメントの抽出から回答生成、およびその間のすべてのプロセスを統合する統一されたシステムが必要です。このプロセスは「検索補完生成」と呼ばれています。詳しくはこちらを参照：AIにおける検索補完生成（RAG）では、なぜRAGが実世界の特定のドメインに特化したQAアプリケーションの構築に最も効果的なのかを理解しましょう。なぜRAGを使用すべきか？ LLMが新しいデータを学ぶ方法は3つあります。トレーニング：兆個のトークンと数十億のパラメータを持つニューラルネットワークの大規模なメッシュが使用されて、大規模言語モデルを作成するために訓練されます。ディープラーニングモデルのパラメータは、特定のモデルに関するすべての情報を保持する係数または重みです。GPT-4のようなモデルを訓練するには、数億ドルがかかります。この方法は誰にでも容易にはできません。このような巨大なモデルを新しいデータで再訓練することは実現不可能です。ファインチューニング：別のオプションとして、既存のデータに対してモデルをファインチューニングすることが考えられます。ファインチューニングは、トレーニング中に事前に訓練されたモデルを起点として使用することを意味します。事前に訓練されたモデルの知識を利用して、異なるデータセット上で新たなモデルを訓練します。これは非常に強力ですが、時間とお金の面で高コストです。特別な要件がない限り、ファインチューニングは意味がありません。プロンプティング：プロンプティングは、LLMのコンテキストウィンドウ内に新しい情報を適応させ、提示された情報からクエリに回答させる方法です。これは、訓練やファインチューニングで学んだ知識ほど効果的ではありませんが、ドキュメントの質問応答など多くの実世界のユースケースには十分です。テキストドキュメントからの回答を促すことは効果的ですが、これらのドキュメントはしばしばLarge Language Models（LLM）のコンテキストウィンドウよりもはるかに大きくなるため、課題を提起します。リトリーバルオーグメンテッドジェネレーション（RAG）パイプラインは、関連するドキュメントセクションの処理、保存、および検索を行うことで、LLMが効率的にクエリに答えることができるようにします。それでは、RAGパイプラインの重要なコンポーネントについて議論しましょう。 RAGコンポーネントとは何ですか？…

Learn more about Search Results Amazon Simple Storage Service - Page 16