Search Results ドキュメント

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

産業全体でのLLMの採用は止まることのないように見えますが、それらは新しいAIの波を支えるより広範な技術エコシステムの一部です多くの対話AIのユースケースでは、Llama 2、Flan T5、BloomのようなLLMがユーザーのクエリに応答するために必要ですこれらのモデルは質問に答えるためにパラメトリックな知識に依存していますモデルは[…]

SetFitABSA SetFitを使用したFew-Shotアスペクトベースの感情分析

SetFitABSAは、テキスト内の特定の側面に対する感情を検出する効率的な技術です。 Aspect-Based Sentiment Analysis (ABSA)は、テキスト内の特定の側面に対する感情を検出するタスクです。例えば、「この電話は画面が素晴らしいですが、バッテリーは小さすぎます」という文では、側面の用語は「画面」と「バッテリー」であり、それぞれに対する感情極性はPositiveとNegativeです。 ABSAは、さまざまなドメインの製品やサービスの顧客フィードバックを分析して貴重な情報を抽出するために、組織によって広く使用されています。しかし、ABSAのためのラベル付けトレーニングデータは、トレーニングサンプル内で側面を手動で細かく識別する必要があるため、手間のかかる作業です。 Intel LabsとHugging Faceは、ドメイン固有のABSAモデルのfew-shotトレーニングのためのフレームワークであるSetFitABSAを紹介しています。SetFitABSAは、few-shotシナリオでLlama2やT5などの生成モデルに比べて競争力があり、さらに優れた性能を発揮します。 LLMベースの手法と比較して、SetFitABSAには次の2つのユニークな利点があります: 🗣 プロンプトが不要です: LLMを使ったfew-shot in-context学習では、結果がもろくなり、表現に敏感になり、ユーザーの専門知識に依存する手作りのプロンプトが必要です。SetFitABSAは、ラベル付けされた少数のテキスト例から直接豊かな埋め込みを生成することで、プロンプトを完全に不要とします。 🏎 高速トレーニング: SetFitABSAは、わずかなラベル付きトレーニングサンプルのみを必要とします。さらに、専門のタグ付けツールを必要としないシンプルなトレーニングデータ形式を使用します。これにより、データのラベリングプロセスが迅速かつ容易になります。このブログ記事では、SetFitABSAの動作方法と、SetFitライブラリを使用して独自のモデルをトレーニングする方法を説明します。では、さっそく見ていきましょう！どのように機能しますか？ SetFitABSAの3つのステージからなるトレーニングプロセス SetFitABSAは3つのステップで構成されています。第1ステップでは、テキストから側面候補を抽出し、第2ステップでは、側面候補を側面または非側面として分類し、最終ステップでは抽出された各側面に感情極性を関連付けます。第2ステップと第3ステップはSetFitモデルに基づいています。トレーニング 1. 側面候補の抽出…

リトリーバル・オーグメンテッド・ジェネレーションにおける関連性の課題にどのように対処するか

パート1では、非最適な埋め込みモデル、効率の悪いチャンキング戦略、およびメタデータフィルタリングの不足により、LLMから関連する応答を得るのが難しくなることをご覧いただけます

「リトリーバル増強生成（RAG）とファインチューニング、どちらを選ぶべきですか？」

最近数ヶ月間、大型言語モデル（LLM）の人気が急上昇しています。自然言語処理、自然言語理解、自然言語生成の強みに基づいて、これらのモデルはほとんどの産業でその能力を発揮しています。生成型人工知能の導入により、これらのモデルは人間のようなテキスト応答を生成するように訓練されるようになりました。有名なGPTモデルにより、OpenAIはLLMの力を示し、変革的な開発の道を切り拓きました。ファインチューニングやRetrieval Augmented Generation（RAG）などの手法により、より正確で文脈豊かな応答を提供するための問題に対するAIモデルの能力が向上しています。 Retrieval Augmented Generation（RAG） RAGでは、検索ベース型と生成型のモデルが組み合わされます。従来の生成型モデルとは異なり、RAGは基盤となるモデルを変更せずに、対象となる最新のデータを取り込むことで既存の知識の枠組みを超えて活動することができます。 RAGの基本的なアイデアは、特定の組織やドメインのデータに基づいて知識リポジトリを構築することです。リポジトリが定期的に更新されるため、生成型AIは最新の文脈に即したデータにアクセスすることができます。これにより、モデルは組織のニーズに合わせて、より正確かつ複雑な応答をユーザーの入力に対して返すことができます。大量の動的データは標準の形式に変換され、知識ライブラリに保持されます。その後、データは埋め込まれた言語モデルを使用して数値表現を作成し、ベクトルデータベースに保持されます。RAGにより、AIシステムは言葉を生成するだけでなく、最新かつ関連性の高いデータを用いて生成することが保証されます。ファインチューニングファインチューニングは、事前に訓練されたモデルを特定のアクションを実行したり、特定の振る舞いを表示したりするためにカスタマイズする方法です。これは、多数のデータポイントで訓練された既存のモデルを取り上げて、より具体的な目標に適合するように修正することを含みます。自然言語コンテンツを生成するのに長けた事前訓練済みモデルを、ジョークや詩、要約など特定の対象に特化させることができます。ファインチューニングにより、開発者は広範なモデルの知識とスキルを特定の主題やタスクに適用することができます。ファインチューニングは特にタスク固有のパフォーマンス向上に役立ちます。特定のタスクについて、専門的な情報を適切に選択したデータセットを通じて提供することで、モデルは精度の高い文脈に即した出力を生成する能力を獲得します。ファインチューニングにより、初めから始めるのではなく既存の情報を活用するため、トレーニングに必要な時間と計算リソースも大幅に削減されます。この方法により、モデルは狭いドメインに順応することで、より効果的に焦点を絞った回答を提供することができます。ファインチューニングとRAGの評価時に考慮すべき要素 RAGは頻繁なモデルの再学習を必要とせずに、定期的に外部の情報源から最新のデータを要求することで、動的データの状況で非常に優れたパフォーマンスを発揮します。一方、ファインチューニングには再現性の保証がないため、信頼性が低くなります。 RAGは他の情報源から関連するデータを取得することで、LLMの機能を向上させます。これはドキュメントの要約、オープンドメインの質問応答、ナレッジベースからデータを取得できるチャットボットなど、外部の知識へのアクセスが必要なタスクに適しています。ファインチューニングは頻繁に変わるデータソースに対しては適用できない場合があります。 RAGは小さなモデルの利用を制限します。一方、ファインチューニングは小規模モデルの効果を高めることで、より迅速で費用のかかる推論を可能にします。 RAGは自動的に取得した情報に基づいて言語のスタイルやドメインの専門化を調整することはありません。一方、ファインチューニングは行動や文章スタイル、ドメイン固有の知識の調整により、特定のスタイルや専門領域との深い整合性を提供します。 RAGは一貫性があり、情報をもとに回答を生成します。ファインチューニングは幻覚を抑えることができるかもしれませんが、新しい刺激にさらされると、生成される反応は作り上げられる場合もあります。 RAGは応答生成を分割して明示的なフェーズに分け、データの取得方法に関する情報を提供することで透明性を提供します。一方、ファインチューニングは回答の基本となるロジックの透明性が低くなります。 RAGとファインチューニングのユースケースの違いは何ですか？ LLMはテキストのカテゴリ分類、感情分析、テキスト生成などのさまざまなNLPタスクに対してファインチューニングできます。これらのタスクでは、入力に応じてテキストを理解し生成することが主な目的となります。一方、RAGモデルは、ドキュメントの要約、オープンドメインの質問応答、ナレッジベースからデータを取得できるチャットボットなど、外部の知識へのアクセスがタスクに必要な場合に優れたパフォーマンスを発揮します。トレーニングデータに基づくRAGとFine-tuningの違い LLMをFine-tuningする際、彼らは特定の検索手法を使用するわけではありませんが、一般的には目標タスクに一致するラベル付きの例から構成されるタスク固有のトレーニングデータに依存します。一方、RAGモデルは検索と生成の両方のタスクを行うために訓練されます。これには、成功した検索と外部情報の使用を示すデータを生成のための教師付きデータと組み合わせる必要があります。…

「GCPの生成AI機能を活用して変革するBFSIサービス」

「ジェネラティブAI（Gen AI）サービスがクラウドプラットフォーム上で収束することで、BFSIセクターなどの産業革新に前例のない機会が提供されます」

デヴオプスにおけるジェネレーティブAI：ピークなデヴオプスパフォーマンスを実現するスマートな（そして効果的な）方法

ジェネレーティブAIがDevOpsでチームワークを改善し、手続きを迅速化し、よりアジャイルかつ効率的な職場を作り出す方法を調査してください

In Japanese 「可視化フレームワークの種類」

あなたのニーズと理想的なビジュアライゼーションフレームワークをマッチさせる

Data science

「DynamoDB vs Cassandra：あなたのビジネスに適したデータベースを選ぶ」

イントロダクションデジタル時代において、データベースはどんなビジネスの基盤です。データベースはビジネスの運営や意思決定に必要な膨大なデータを格納、整理、管理する役割を果たします。適切なデータベースを選ぶことは、ビジネスの効率性、拡張性、収益性に大きな影響を与えることがあります。この記事では、DynamoDBとCassandraという2つの人気のあるデータベースについて、総合的な比較を提供し、より良い判断を支援します。 DynamoDBとは何ですか？ Amazon Web Services（AWS）は2012年にDynamoDBを導入し、完全に管理されたNoSQLデータベースサービスとして提供しました。DynamoDBは高速かつ予測可能なパフォーマンス、シームレスなスケーラビリティを提供することで広く採用されています。低遅延のデータアクセス、自動スケーリング、組み込みのセキュリティなど、DynamoDBはさまざまな業界で人気を集めています。ゲーム、広告技術、IoTなど、リアルタイムのデータ処理が求められる業界で特に使用されます。 Cassandraとは何ですか？ Facebookが2008年に開発したCassandraは、後にApacheでオープンソースとして公開されました。Cassandraは分散型のNoSQLデータベースであり、多数のコモディティサーバー上で大量のデータを処理し、単一障害点を持たない高い可用性を実現するよう設計されています。Cassandraの主な特徴には、直線的なスケーラビリティ、強力な障害耐性、柔軟なデータモデルなどがあります。Cassandraは金融、小売、通信などの分野で使用され、高い可用性と障害耐性が求められます。 DynamoDBとCassandraの詳細な比較 DynamoDBとCassandraを比較する際には、いくつかの要素が重要になります。側面 DynamoDB Cassandra データモデル – キーバリューストア、オプションのセカンダリインデックスをサポート– 柔軟なスキーマをサポート– JSONのようなドキュメントサポート – ワイドカラムストア、テーブル、行、列をサポート– 複雑なデータ型をサポート– クエリにはCQL（Cassandra Query Language）を使用…

「プロダクションに適したRAGアプリケーションの12のチューニング戦略ガイド」

「実稼働のための検索増強生成（RAG）アプリケーションのパフォーマンス向上に調整できる戦略とパラメータ」

「RetinaNetとKerasCVを使用した物体検出」

画像セグメンテーションをベースにしたミニプロジェクトを終えた後（こちらをご覧ください）、コンピュータビジョンの一環として、別の一般的なタスクに取り掛かる準備ができました：オブジェクト検出ですオブジェクト検出とは...

Learn more about Search Results ドキュメント - Page 9