Search Results Meta

「Langchainを利用した半構造化データのためのRAGパイプラインの構築」

イントロダクション Retrieval Augmented Generation（RAG）は長い間存在しています。この概念を基にしたツールやアプリケーションが多数開発されており、ベクトルストア、検索フレームワーク、LLMなどがあり、カスタムドキュメント、特にLangchainを使用した半構造化データとの作業が容易で楽しくなっています。長くて密度のあるテキストとの作業はこれまでになく簡単で楽しいものとなりました。従来のRAGはDOC、PDFなどのドキュメントやファイル形式の非構造化テキストにはうまく対応していますが、PDFの埋め込みテーブルなどの半構造化データには対応していません。半構造化データとの作業時には通常2つの問題が生じます。従来の抽出およびテキスト分割方法ではPDFのテーブルを考慮していません。通常、テーブルが分割されてしまい、情報が失われます。テーブルの埋め込みは正確な意味ベースの検索には適さない場合があります。そのため、本記事ではLangchainを使用して半構造化データ用の検索生成パイプラインを構築し、これらの2つの問題に対処します。学習目標構造化、非構造化、半構造化データの違いを理解する。 RAGとLangchainの基本をおさらいする。 Langchainを使用して半構造化データを処理するためのマルチベクトル検索生成システムを構築する方法を学ぶ。この記事はData Science Blogathonの一環として公開されました。データの種類通常、データには構造化データ、半構造化データ、非構造化データの3つのタイプがあります。構造化データ：構造化データは標準化されたデータです。データは事前に定義されたスキーマ（行と列など）に従います。SQLデータベース、スプレッドシート、データフレームなどが該当します。非構造化データ：非構造化データは、構造化データとは異なり、データモデルに従いません。データはランダムな形式となっています。たとえば、PDF、テキスト、画像などです。半構造化データ：これは前述のデータタイプの組み合わせです。構造化データとは異なり、厳密な定義済みのスキーマを持ちませんが、データはいくつかのマーカーに基づいて階層的な順序を保持しています。これは非構造化データとは異なります。たとえば、CSV、HTML、PDFの埋め込みテーブル、XMLなどが該当します。 RAGとは何ですか？ RAGはRetrieval Augmented Generation（検索拡張生成）の略であり、大規模言語モデルに新しい情報を提供する最も簡単な方法です。RAGについて簡単に説明しましょう。…

開発者の生産性向上：DeloitteのAmazon SageMaker Canvasを用いたノーコード/ローコード機械学習の活用方法

今日のデータ駆動型の世界では、機械学習（ML）モデルを素早く構築し展開する能力がますます重要になっていますしかし、MLモデルの構築には時間と労力、特殊な専門知識が必要ですデータの収集やクリーニングから特徴エンジニアリング、モデルの構築、調整、展開まで、MLプロジェクトは開発者にとって数か月かかることがよくありますそして経験豊富なデータ[...]

オープンLLMリーダーボード：DROPディープダイブ

最近、新たに3つの新基準がOpen LLM Leaderboardに追加されました。Winogrande、GSM8k、そしてDROPです。これらはEleutherAI Harnessの再現実装を使用しています。DROPのスコアをざっと見てみると、f1スコアでほとんどのモデルが10点以下という奇妙な現象が起こっていることがわかりました。私たちはこの問題を深く掘り下げ、何が起こっているのかを理解するために調査を行いました。一緒に調査結果を見ていきましょう！初期の観察結果 DROP（段落に対する離散的な推論）は、モデルが英語の段落から関連する情報を抽出し、それらに対して離散的な推論手法（例えば、ソートやアイテムの数え上げなどを行い、正解にたどり着く）を実行する必要がある評価です（例は下の表を参照してください）。使用される評価指標はカスタムのf1スコアと完全一致スコアです。 DROPをOpen LLM Leaderboardに3週間前に追加しましたが、事前学習モデルのf1スコアは予想外の傾向を示しました。DROPのスコアをARC、HellaSwag、TruthfulQA、MMLUのリーダーボードの元々の平均（モデル全体のパフォーマンスの合理的な代理）と比較したとき、優れたモデルほどDROPのスコアも良い関連性があると予想していました。しかし、それは一部のモデルにしか当てはまらず、他のすべてのモデルのDROPのf1スコアは10点未満でした。正規化の問い合わせこの驚くべき振る舞いに対する最初の深い調査中に、正規化ステップが意図した通りに機能していない可能性があることがわかりました。いくつかのケースでは、正規化が正しい数値の回答を無視してしまっていました。具体的には、数値の回答の後に空白文字（スペース以外の改行など）が続いていた場合に正規化が無視されていました。以下に例を示します。生成結果が10\n\nPassage: The 2011 census recorded a population of 1,001,360で、正解が10である場合を見てみましょう。正規化は生成結果と正解の両方に対して複数のステップで行われます：区切り文字での分割 |、-、または. を使って分割します。生成結果の先頭のシーケンス 10\n\nPassage:…

自分のドキュメントで春のAIとOpenAI GPTが有用になるようにRAGを作成する

「RAGを使用して、Spring AIとOpenAI GPTを活用してドキュメント検索のエクスペリエンスを向上させる方法を発見しましょう自分自身のドキュメントをより役立つものにする方法を学びましょう」

AWSを使った生成AIを活用したクラウド上の新しい構築の時代へようこそ

「私たちは、時間の経過とともに、生成型AIが私たちが知るほぼすべての顧客エクスペリエンスを変革する可能性を持っていると信じていますAWS上で生成型AIアプリケーションを導入する企業の数は多く、adidas、Booking.com、Bridgewater Associates、Clariant、Cox Automotive、GoDaddy、LexisNexis Legal & Professionalなどがすばやく増えていますPerplexityなどの革新的なスタートアップも存在します...」

未来を開く：放射線科におけるGPT-4の輝かしい約束

近年、ヘルスケア分野へのAIの統合は、診断、治療計画、患者の関与の革新をもたらしました。GPT-4は、放射線診断の自然言語タスクにおける潜在能力を示し、ゲームチェンジャーとなっています。共同研究論文「GPT-4の放射線診断における限界の探求」がEMNLP 2023で発表され、AIが放射線科医のワークフローに与える影響について掘り下げています。 GPT-4の放射線学的能力の包括的評価この研究は、X線、CTスキャン、MRIなどの画像技術を通じた疾患の診断と治療に不可欠なタスクに焦点を当て、GPT-4の能力と制限の深淵を解明することを目指しています。この研究では、PowerScribeソリューションで知られるMicrosoftの子会社Nuanceと共同で、厳密な評価フレームワークを採用しています。これは、専門医による評価メトリックを超えた従来の評価基準を超え、疾患の分類や所見の要約などの放射線学の現実世界のシナリオに取り組みます。 GPT-4の輝かしいパフォーマンス：Quantum Leap 探索の中で、GPT-4は希望の灯台として現れ、様々な放射線学的なタスクで新たな最先端のパフォーマンスを披露しています。前作のGPT-3.5モデルや既存の最先端の放射線学モデルを凌駕し、GPT-4は驚異的な10％の絶対的な改善を示しています。GPT-4が生成した放射線学報告書の要約は、経験豊富な放射線科医によって作成されたものと比較してだけでなく、一部のケースでは好まれることが予想外に明らかにされました。これは、これらの複雑な報告書の構造化を自動化する可能性を開拓します。また、読者にもおすすめの記事: 医療画像のAIに関する優しい導入放射線学を超えて：GPT-4の可能性の解き放たれた多様性 GPT-4の可能性は、放射線学の枠を超えて広がっています。放射線学報告書の自動的な構造化と標準化により、解釈可能性が高まり、エビデンスに基づいたヘルスケアのための現実世界のデータ（RWD）をサポートします。さらに、GPT-4の医学報告書をより共感性や理解しやすい形式に翻訳する能力により、患者の関与と教育の革命が約束され、ヘルスケアの意思決定における積極的な参加が促進されます。詳しい研究はこちら：放射線学の未来を形作るGPT-4の可能性私たちの意見 GPT-4の可能性が切り開くエキサイティングな道において、慎重さが私たちの指針です。結果は有望ですが、さらなる検証が包括的な研究や臨床試験を通じて求められます。GPT-4の登場は、医療、技術、政策の領域をまたいだ連携努力を要求し、その変革的な力を責任を持って活用するための期待に満ちた放射線学のスリリングな時代を告げています。GPT-4が患者ケアと安全に与える影響への期待には熱意があり、イノベーションと責任が人類のために共存する未来への道を切り開いています。

Learn more about Search Results Meta - Page 11

「Langchainを利用した半構造化データのためのRAGパイプラインの構築」

開発者の生産性向上：DeloitteのAmazon SageMaker Canvasを用いたノーコード/ローコード機械学習の活用方法

オープンLLMリーダーボード：DROPディープダイブ

自分のドキュメントで春のAIとOpenAI GPTが有用になるようにRAGを作成する

AWSを使った生成AIを活用したクラウド上の新しい構築の時代へようこそ

未来を開く：放射線科におけるGPT-4の輝かしい約束

「埋め込みモデルでコーパス内の意味関係を探索する」

「Amazon Titanを使用して簡単に意味論的画像検索を構築する」

「Amazon SageMakerを使用してクラシカルなMLとLLMsを簡単にパッケージ化し、デプロイする方法 – パート1：PySDKの改善」

ナレッジグラフ、ハードウェアの選択、Pythonのワークフロー、およびその他の11月に読むべきもの

Find the right Blockchain Investment for you