Search Results Data Science Blogathon

大規模展開向けのモデル量子化に深く掘り下げる

イントロダクション AIにおいて、大規模なモデルをクラウド環境に展開するという2つの異なる課題が浮かび上がっています。これにより、スケーラビリティと収益性を阻害するかなりの計算コストが発生し、複雑なモデルをサポートするのに苦労するリソース制約のあるエッジデバイスの問題も生じます。これらの課題の共通点は、精度を損なうことなくモデルのサイズを縮小する必要性です。一つの解決策となる人気のある手法であるモデルの量子化は、精度のトレードオフの懸念を引き起こします。量子化意識トレーニングは、魅力的な答えとして浮上します。これは、モデルのトレーニングプロセスに量子化をシームレスに統合することで、重要な精度を保ちながら、モデルのサイズを大幅に削減することを可能にします。時には２倍から４倍以上にもなります。この記事では、量子化について詳しく解説し、ポストトレーニング量子化（PTQ）と量子化意識トレーニング（QAT）を比較します。さらに、Deciによって開発されたオープンソースのトレーニングライブラリ「SuperGradients」を使用して、両方の方法を効果的に実装する方法を実践的に示します。また、モバイルや組み込みプラットフォームにおける畳み込みニューラルネットワーク（CNN）の最適化についても探求します。サイズと計算要件のユニークな課題に取り組み、モデルの最適化における数値表現の役割を検討します。学習目標 AIにおけるモデルの量子化の概念を理解する。一般的な量子化レベルとそのトレードオフについて学ぶ。量子化意識トレーニング（QAT）とポストトレーニング量子化（PTQ）の違いを認識する。メモリ効率やエネルギー削減など、モデルの量子化の利点を探求する。モデルの量子化が広範なAIモデルの展開を可能にする方法を発見する。この記事はData Science Blogathonの一部として掲載されました。モデルの量子化の必要性の理解モデルの量子化は、ディープラーニングにおける基本的な技術であり、モデルのサイズ、推論速度、およびメモリ効率に関連する重要な課題に対処することを目指しています。これは、モデルの重みを高精度の浮動小数点表現（通常は32ビット）から低精度の浮動小数点（FP）または整数（INT）フォーマット（16ビットまたは8ビットなど）に変換することによって実現されます。量子化の利点は二つあります。まず第一に、モデルのメモリフットプリントを大幅に削減し、大きな精度の劣化を引き起こすことなく推論速度を向上させます。さらに、メモリ帯域幅の要件を減らし、キャッシュの利用効率を向上させることによって、モデルのパフォーマンスも最適化されます。 INT8表現は、ディープニューラルネットワークの文脈では「量子化された」と俗に言われることがありますが、ハードウェアアーキテクチャに応じてUINT8やINT16のような他のフォーマットも利用されます。異なるモデルは、精度とモデルサイズの削減のバランスを取るために、異なる量子化アプローチを必要とし、事前知識と緻密な微調整を要することがしばしば求められます。量子化は、特にINT8などの低精度の整数フォーマットにおいて、動的レンジが制限されているため、課題をもたらします。FP32の広範な動的レンジをINT8の255個の値に押し込めることは、精度の低下を招く可能性があります。この課題を緩和するために、パーチャネルまたはパーレイヤのスケーリングにより、重みと活性化テンソルのスケールとゼロポイント値が、より適した量子化フォーマットに適合するように調整されます。さらに、量子化意識トレーニングでは、モデルのトレーニング中に量子化プロセスをシミュレートすることで、モデルが優れた精度で低精度に適応することが可能になります。このプロセスの重要な側面であるスクイーズ（またはレンジの推定）は、キャリブレーションによって実現されます。本質的には、モデルの量子化は効率的なAIモデルの展開に不可欠であり、特に計算リソースが限られているエッジデバイスでの資源効率と精度の微妙なバランスを取るために重要です。モデルの量子化の技術量子化レベル量子化は、モデルの高精度浮動小数点の重みと活性化を、低精度の固定小数点値に変換します。 “量子化レベル”は、これらの固定小数点値を表すビット数を指します。一般的な量子化レベルは、8ビット、16ビット、およびバイナリ（1ビット）の量子化です。適切な量子化レベルを選択することは、モデルの精度とメモリ、ストレージ、および計算効率とのトレードオフに依存します。…

テキスト生成の新時代：RAG、LangChain、およびベクトルデータベース

はじめに革新的な技術によって、自然言語処理の急速に変化するランドスケープの中で、機械が人間の言語を理解し生成する方法が常に再構築されています。そのような画期的なアプローチの1つが、Retrieval Augmented Generation（RAG）です。これは、GPT（Generative Pretrained Transformer）などの生成モデルのパワーとベクトルデータベースとLangchainの効率を組み合わせています。 RAGは機械が言語を処理する方法のパラダイムシフトを象徴し、従来に比べて類前の文脈理解と反応性を実現するために生成モデルと検索モデルの隔たりを埋める役割を果たしています。このブログ記事では、RAGのコアコンセプト、GPTモデルとの統合、ベクトルデータベースの役割、および現実世界での応用について説明します。学習目標 Retrieval Augmented Generation（RAG）の基礎を理解する。ベクトルデータベースとそのベクトルを使用した革新的なデータ保存および検索手法に洞察する。 RAG、LangChain、およびベクトルデータベースがユーザーのクエリを解釈し、関連情報を取得し、一貫した応答を生成するためにどのように連携するかを理解する。特定の応用に統合されたテクノロジーの実践スキルを開発する。この記事はData Science Blogathonの一部として公開されました。 RAGとは何ですか？ Retrieval Augmented Generation（RAG）は生成モデルと検索モデルを融合させたものです。これにより、生成モデルの創造的な能力と検索システムの正確さをシームレスに組み合わせることで、多様で文脈に即したコンテンツの生成が可能となります。テキストの補完や質問応答など、一部の従来の言語生成タスクでは、GPT（Generative Pretrained Transformer）などの生成モデルが豊富なトレーニングデータセットに基づいて文脈に即したテキストを生成する能力が優れていることが示されています。しかし、入力コンテキストが曖昧であるかデータが不足している場合、誤った応答や一貫性のない応答を生成する可能性があります。…

Embedchainの紹介- LLM向けのデータプラットフォーム

イントロダクション LangChainやLangFlowのようなツールを紹介することで、Large Language Modelsを使ったアプリケーションの構築が容易になりました。さまざまなLarge Language Modelsを選択してアプリケーションを構築することが容易になった一方で、データのアップロード部分では、データがさまざまなソースから取得されるため、開発者にはデータをプレーンテキストに変換してベクトルストアに注入する必要があるため、依然として時間がかかることがあります。このような場合には、Embedchainが登場します。Embedchainを使用すると、さまざまなデータタイプのデータを簡単にアップロードしてLLMを瞬時にクエリできます。この記事では、embedchainの使い方について探っていきます。学習目標 Large Language Models（LLMs）のデータの管理とクエリに関して、embedchainの重要性を理解する。非構造化データを効果的に統合し、embedchainにアップロードする方法を学ぶ。これにより、さまざまなデータソースでシームレスに作業を行うことができる。 embedchainがサポートしているさまざまなLarge Language Modelsとベクトルストアについて知る。ウェブページやビデオなどのさまざまなデータソースをベクトルストアに追加し、データの取り込み方法を理解する。この記事はData Science Blogathonの一部として公開されました。 Embedchainとは何ですか？ EmbedchainはPython/JavaScriptライブラリであり、開発者はこれを使ってLarge Language Modelsと多くのデータソースをシームレスに接続することができます。Embedchainを使用すると、非構造化データをアップロード、インデックス化、検索することができます。非構造化データには、テキスト、ウェブサイト/YouTube動画へのURL、画像など、いかなるタイプのデータも含まれます。 Emdechainを使ってこれらの非構造化データをアップロードする場合、単一のコマンドでデータをアップロードし、それらに対してベクトル埋め込みを作成し、接続されたLLMと即座にクエリを開始することができます。内部では、embedchainがデータをソースからロードし、チャンキングし、ベクトル埋め込みを作成し、最終的にベクトルストアに格納する処理を行います。 Embedchainを使った最初のアプリの作成…

「Arxiv検索のマスタリング：Haystackを使用したQAチャットボットの構築のDIYガイド」をマスターする

イントロダクションカスタムデータに関する質問と回答は、大規模言語モデルの最も求められるユースケースの一つです。LLMの人間のような対話スキルとベクトル検索手法を組み合わせることで、大量のドキュメントから回答を抽出することがより容易になります。いくつかのバリエーションを加えることで、ベクトルデータベースに埋め込まれたデータ（構造化、非構造化、準構造化）と対話するシステムを作成することができます。このクエリ埋め込みとドキュメント埋め込みの類似性スコアに基づいてLLMに取得データを追加する手法は、「RAGまたはRetrieval Augmented Generation」と呼ばれています。この手法により、arXiv論文の読解など、さまざまなことが簡単になります。 AIやコンピュータサイエンスに興味がある方なら、少なくとも一度は「arXiv」を聞いたことがあるでしょう。arXivは電子プレプリントおよびポストプリントのためのオープンアクセスリポジトリであり、ML、AI、数学、物理学、統計学、電子工学などのさまざまな主題の検証済み論文をホストしています。arXivは、AIや理系の研究のオープンな研究を推進する上で重要な役割を果たしています。しかし、研究論文を読むことはしばしば困難で時間がかかります。それでは、論文から関連するコンテンツを抽出し、回答を取得するためのRAGチャットボットを使用することで、少しでも改善することはできるでしょうか？この記事では、Haystackというオープンソースツールを使用して、arXiv論文用のRAGチャットボットを作成します。学習目標 Haystackとは何かを理解し、LLMを活用したアプリケーションを構築するためのコンポーネントを把握する。「arxiv」ライブラリを使用してArXiv論文を取得するコンポーネントを構築する。 Haystackノードでインデックスとクエリパイプラインを構築する方法を学ぶ。 Gradioを使用してチャットインターフェースを構築し、ベクトルストアからドキュメントを取得し、LLMから回答を生成するパイプラインを調整する方法を学ぶ。この記事はData Science Blogathonの一環として公開されました。 Haystackとは何か？ HaystackはスケーラブルなLLMパワードアプリケーションを構築するためのオープンソースのNLPフレームワークです。Haystackはセマンティックサーチ、質問応答、RAGなどの本番向けNLPアプリケーションを構築するための非常にモジュラーかつカスタマイズ可能なアプローチを提供します。これはパイプラインとノードのコンセプトに基づいて構築されており、パイプラインはノードを繋げることで効率的なNLPアプリケーションを構築するのに非常に便利です。ノード：ノードはHaystackの基本的な構成要素です。ノードはドキュメントの前処理、ベクトルストアからの取得、LLMからの回答生成など、一つのことを達成します。パイプライン：パイプラインはノードを繋ぐためのもので、ノードの連鎖を構築するのが容易になります。これによってHaystackでアプリケーションを構築することが容易になります。 HaystackはWeaviate、Milvus、Elastic Search、Qdrantなど、主要なベクトルストアを直接サポートしています。詳細については、Haystackのパブリックリポジトリを参照してください：https://github.com/deepset-ai/haystack。したがって、この記事では、Haystackを使用してArxiv論文のためのQ&AチャットボットをGradioインターフェースで構築します。 Gradio Gradioは、任意の機械学習アプリケーションのデモをセットアップおよび共有するためのHuggingfaceのオープンソースソリューションです。バックエンドにはFastapiが使用され、フロントエンドコンポーネントにはsvelteが使用されています。これにより、Pythonでカスタマイズ可能なWebアプリを作成することができます。機械学習モデルやコンセプトのデモアプリを構築して共有するのに最適です。詳細は、Gradioの公式GitHubをご覧ください。Gradioを使用したアプリケーションの構築については、「GradioでChat GPTを構築しましょう」という記事も参考にしてください。…

「GPTからMistral-7Bへ：AI会話のエキサイティングな進化」

紹介人工知能の分野では、特に大規模な言語モデルの領域で驚くべき進展が見られています。大規模言語モデルは、人間のようなテキストを生成したり、文書を要約したり、ソフトウェアコードを書いたりすることができます。Mistral-7Bは、英語のテキストとコード生成の能力をサポートする最近の大規模な言語モデルの一つであり、テキスト要約、分類、テキストの補完、コードの補完など、さまざまなタスクに使用することができます。 Mistral-7B-Instructの特徴は、パラメータが少ないにもかかわらず、優れたパフォーマンスを発揮する能力です。ベンチマークの結果によると、このモデルはすべての7Bモデルを凌駕し、さらに13Bチャットモデルとも競争力を持っています。本ブログでは、Mistral 7Bの機能や能力、使用事例、パフォーマンス、モデルの微調整に関する実践的なガイドなどについて探っていきます。学習目標大規模言語モデルとMistral 7Bの動作を理解する Mistral 7Bのアーキテクチャとベンチマーク Mistral 7Bの使用事例とパフォーマンス推論とモデルの微調整のためのコードの詳細な解説この記事はData Science Blogathonの一環として公開されました。大規模言語モデルとは何ですか？大規模言語モデルのアーキテクチャは、トランスフォーマーを使用して構築されており、アテンションメカニズムを使用してデータの長距離依存性を捉えます。複数のトランスフォーマーブロックの層には、マルチヘッドのセルフアテンションやフィードフォワードニューラルネットワークが含まれています。これらのモデルはテキストデータで事前学習され、シーケンス内の次の単語を予測することを学習し、言語のパターンを捉えます。事前学習された重みは特定のタスクで微調整することができます。Mistral 7B LLMのアーキテクチャと、その特徴について詳しく見ていきましょう。 Mistral 7Bのアーキテクチャ Mistral 7Bモデルのトランスフォーマーアーキテクチャは、アテンションメカニズムとキャッシュ戦略を使用して、高いパフォーマンスとメモリ使用量を効率的にバランスさせ、より大きなモデルよりも速度と品質で優れた結果を出します。4096ウィンドウのスライディングウィンドウアテンション（SWA）を使用して、各トークンが直前のトークンの一部に注意を払うことで、より長いシーケンスに対するアテンションを最大化します。特定の隠れ層は、ウィンドウサイズと層の深さによって、入力層のトークンに対して決定された距離からアクセスできます。モデルは、Flash…

「LLMsにおけるエンタープライズ知識グラフの役割」

紹介大規模言語モデル（LLM）と生成AIは、人工知能と自然言語処理の革新的なブレークスルーを表します。彼らは人間の言語を理解し、生成することができ、テキスト、画像、音声、合成データなどのコンテンツを生成することができるため、さまざまなアプリケーションで非常に柔軟に使用できます。生成AIはコンテンツ作成の自動化や強化、ユーザーエクスペリエンスの個別化、ワークフローの効率化、創造性の促進など、現実世界のアプリケーションで非常に重要な役割を果たしています。この記事では、エンタープライズがオープンLLMと統合できるように、エンタープライズナレッジグラフを効果的にプロンプトに基づいて構築する方法に焦点を当てます。学習目標 LLM/Gen-AIシステムと対話しながら、グラウンディングとプロンプトの構築に関する知識を獲得する。グラウンディングのエンタープライズへの関連性と、オープンなGen-AIシステムとの統合によるビジネス価値を例を挙げながら理解する。知識グラフとベクトルストアという2つの主要なグラウンディング競争解決策を、さまざまな側面で分析し、どちらがどのような場合に適しているかを理解する。パーソナライズされたおすすめの顧客シナリオにおいて、知識グラフ、学習データモデリング、およびグラフモデリングを活用したグラウンディングとプロンプトのサンプルエンタープライズ設計を研究する。この記事はData Science Blogathonの一環として公開されました。大規模言語モデルとは何ですか？大規模言語モデルは、深層学習技術を用いて大量のテキストや非構造化データをトレーニングした高度なAIモデルです。これらのモデルは人間の言語と対話し、人間らしいテキスト、画像、音声を生成し、さまざまな自然言語処理タスクを実行することができます。一方、言語モデルの定義は、テキストコーパスの分析に基づいて単語のシーケンスに対して確率を割り当てることを指します。言語モデルは、シンプルなn-gramモデルからより洗練されたニューラルネットワークモデルまでさまざまなものがあります。ただし、”大規模言語モデル”という用語は、深層学習技術を使用し、パラメータが数百万から数十億に及ぶモデルを通常指します。これらのモデルは、言語の複雑なパターンを捉え、しばしば人間が書いた文と区別のつかないテキストを生成することができます。プロンプトとは何ですか？ LLMまたは同様のチャットボットAIシステムへのプロンプトとは、会話やAIとの対話を開始するために提供するテキストベースの入力やメッセージのことです。LLMは柔軟で、さまざまなタスクに使用されるため、プロンプトのコンテキスト、範囲、品質、明瞭さは、LLMシステムから受け取る応答に重要な影響を与えます。グラウンディング/RAGとは何ですか？自然言語LLM処理の文脈におけるグラウンディング、またはリトリーバル拡張生成（RAG）は、プロンプトをコンテキスト、追加のメタデータ、および範囲で豊かにすることを指します。これにより、AIシステムは必要な範囲とコンテキストに合わせてデータを理解し、解釈するのに役立ちます。LLMの研究によれば、応答の品質はプロンプトの品質に依存することが示されています。これはAIの基本的な概念であり、生データと人間の理解と範囲を一致する形でデータを処理および解釈する能力とのギャップを埋める役割を果たします。これにより、AIシステムの品質と信頼性が向上し、正確かつ有用な情報や応答を提供する能力が高まります。 LLMの欠点は何ですか？ GPT-3などの大規模言語モデル（LLM）はさまざまなアプリケーションで注目と利用が進んでいますが、いくつかの欠点も存在します。LLMの主な欠点には以下があります： 1. バイアスと公平性：LLMはしばしば訓練データからバイアスを引き継ぎます。これにより、バイアスを持ったまたは差別的なコンテンツの生成が生じ、有害なステレオタイプを強化し、既存のバイアスを固定化する可能性があります。 2. 幻覚:…

「IntelのOpenVINOツールキットを使用したAI最適化と展開のマスタリング」

イントロダクション人間の労働力を置き換えるAIの影響が増しているため、私たちはほぼ毎日AIについて話題にしています。AIを活用したソフトウェアの構築は、短期間で急速に成長しています。企業やビジネスは、信頼性のある責任あるAIをアプリケーションに統合し、収益を増やすことを信じています。アプリケーションにAIを統合する最も困難な部分は、モデルの推論とモデル訓練に使用される計算リソースです。既に多くのテクニックが存在しており、モデルの推論時のパフォーマンスを最適化し、より少ない計算リソースでモデルを訓練します。この問題を解決するために、IntelはOpenVINO Toolkitを導入しました。OpenVINOは革新的なオープンソースツールキットであり、AIの推論を最適化して展開することができます。学習目標この記事では、以下の内容を理解します。 OpenVINO Toolkitとは何か、AIの推論モデルを最適化し展開するための目的を理解します。 OpenVINOの実用的なユースケース、特にエッジにおけるAIの将来における重要性を探求します。 Google ColabでOpenVINOを使用して画像内のテキスト検出プロジェクトを実装する方法を学びます。 OpenVINOの主な特徴と利点、モデルの互換性とハードウェアアクセラレータのサポート、およびさまざまな産業とアプリケーションに与える影響を探求します。この記事はData Science Blogathonの一環として公開されました。 OpenVINOとは何ですか？ OpenVINO（オープンビジュアル推論およびニューラルネットワーク最適化）は、Intelチームによって開発されたオープンソースツールキットで、ディープラーニングモデルの最適化を容易にするものです。OpenVINOツールキットのビジョンは、AIのディープラーニングモデルを効率的かつ効果的にオンプレミス、オンデバイス、またはクラウド上で展開することです。 OpenVINO Toolkitは特に価値があります。なぜなら、TensorFlow、PyTorch、Onnx、Caffeなどのような人気のあるディープラーニングフレームワークをサポートしているからです。好きなフレームワークを使用してモデルをトレーニングし、OpenVINOを使用してIntelのハードウェアアクセラレータ（CPU、GPU、FPGA、VPUなど）にデプロイするために変換と最適化を行うことができます。推論に関しては、OpenVINO Toolkitはモデルの量子化と圧縮のためのさまざまなツールを提供しており、推論の精度を損なうことなくディープラーニングモデルのサイズを大幅に削減することができます。なぜOpenVINOを使用するのですか？ AIの人気は現在も衰える気配がありません。この人気により、オンプレミスやオンデバイスでAIアプリケーションを実行するためのアプリケーションがますます開発されることは明らかです。OpenVINOが優れているいくつかの重要な領域は、なぜOpenVINOを使用することが重要かを理解するための理想的な選択肢となっています。 OpenVINOモデルズー OpenVINOは、安定した拡散、音声、オブジェクト検出などのタスクに対する事前トレーニング済みのディープラーニングモデルを提供するモデルズーを提供しています。これらのモデルはプロジェクトの出発点として利用することができ、時間とリソースを節約することができます。…

「大規模な言語モデルが医療テキスト分析に与える影響」

イントロダクション技術革命の進行する世界において、人工知能と医療の融合は医学の診断と治療の風景を再構築しています。この変革の背後にいる静かな英雄の一つが、医療分野での大規模言語モデル（LLM）の応用です。本稿では、テキストベースの医療アプリケーションの文脈でLLMの世界に踏み込み、これらの強力なAIモデルが医療業界を革新している方法について探ります。ソース – John Snow labs 学習目標医療テキスト解析における大規模言語モデル（LLM）の役割を理解する。現代の医療における医療画像の重要性を認識する。医療画像のボリュームがもたらす課題を把握する。 LLMが医療テキスト解析と診断の自動化にどのように役立つのか理解する。 LLMが重要な医療ケースのトリアージにおける効率性を評価する。患者の経歴に基づく個別治療計画におけるLLMの効果を探求する。放射線科医を支援するためのLLMの共同作業について理解する。医学生と医師の教育においてLLMがどのように役立つのか発見する。この記事はData Science Blogathonの一環として公開されました。見えない医療画像と医療の世界 LLMの世界に飛び込む前に、医療画像の存在を一瞬に留め、感謝しましょう。それは最新の医学において視覚化し、疾患を検出し、治療の進捗を監視するのに欠かせないものです。特に放射線科学は、X線、MRI、CTスキャンなどの医療画像に重要に依存しています。しかしこの多くの医療画像の宝庫は課題を伴っています：その膨大な量です。病院や医療機関は毎日大量の医療画像を使用しています。この洪水を手作業で分析および解釈することは困難で、時間がかかり、人為的なミスも起こりやすいです。ソース –…

「Chromaを使用してマルチモーダル検索アプリを作成する方法」

はじめに複雑な脳が世界をどのように処理しているのか、あなたは考えたことがありますか？脳の内部の仕組みは依然として謎ですが、私たちはそれを多目的なニューラルネットワークにたとえることができます。電気化学的な信号のおかげで、それは様々なデータ型を処理します-音、映像、匂い、味、触覚。 AIが進化するにつれて、マルチモーダルモデルが登場し、検索能力が革新されています。このイノベーションにより、検索の正確性と関連性が向上し、新たな可能性が開かれています。マルチモーダル検索の魅力的な世界を発見しましょう。学習目標「AIにおけるマルチモーダリティ」という用語を理解する。 OpenAIのイメージテキストモデルCLIPについての洞察を得る。ベクトルデータベースとベクトルインデックスの概要を理解する。 CLIPとChromaベクトルデータベースを使用して、Gradioインターフェースを使用した食品推薦システムを構築する。マルチモーダル検索の他の現実世界での使用例を探索する。この記事はData Science Blogathonの一部として公開されました。 AIにおけるマルチモーダリティとは何ですか？ Googleで検索すると、マルチモードはプロセスに複数のモードや方法を関与させることを指すと分かります。人工知能では、マルチモーダルモデルは異なるデータタイプを処理し理解することができるニューラルネットワークです。たとえば、GPT-4やバードなどです。これらは、テキストや画像を理解できるLLMです。他の例としては、ビジュアルとセンサーデータを組み合わせて周囲の状況を理解するテスラの自動運転車、またはテキストの説明から画像を生成できるMidjourneyやDalleがあります。コントラスト言語-画像事前トレーニング（CLIP） CLIPは、OpenAIが大量の画像テキストペアのデータセットでトレーニングしたオープンソースのマルチモーダルニューラルネットワークです。…

ドクトランとLLM：消費者の苦情を分析するための強力なコンビ

紹介現在の競争の激しい市場では、企業は消費者の苦情を効果的に理解し解決することを目指しています。消費者の苦情は、製品の欠陥やお客様サービスの問題、請求エラーや安全上の懸念など、さまざまな問題についての洞察を提供します。これらは、企業と顧客の間のフィードバック（製品、サービス、または経験に関するもの）ループで非常に重要な役割を果たします。これらの苦情を分析し理解することで、製品やサービスの改善、顧客満足度、全体的なビジネスの成長に対する貴重な示唆を得ることができます。この記事では、Doctran Pythonライブラリを活用して消費者の苦情を分析し洞察を抽出し、データに基づいた決定を行う方法について探っていきます。学習目標この記事では以下のことを学びます: doctran pythonライブラリとその主な機能について学ぶドキュメント変換と分析におけるdoctranとLLMの役割について学ぶ doctranがサポートする抽出、黒塗り、照会、精緻化、要約、翻訳の6つのドキュメント変換の詳細を調査する消費者の苦情からの生のテキストデータのアクション可能な洞察への変換の全体的な理解を得る doctranの文書データ構造、ExtractPropertyクラス、プロパティを抽出するためのスキーマの定義について理解するこの記事はData Science Blogathonの一環として公開されました。 Doctran Doctranは、ドキュメントの変換と分析に特化した最先端のPythonライブラリです。テキストデータの前処理、重要な情報の抽出、カテゴリ化/分類、照会、情報の要約、他の言語へのテキストの翻訳など、一連の機能を提供します。DoctranはOpenAI GPTベースのLLM（Large Language Models）やオープンソースのNLPライブラリを使用してテキストデータを分析します。 Doctranは以下の6種類のドキュメント変換をサポートしています: 抽出: ドキュメントから有益な機能/プロパティを抽出する黒塗り: ドキュメントから個人を識別できる情報（氏名、メールアドレス、電話番号など）を削除する。内部的には、データをOpenAIに送る前に、敏感情報を削除するためにspaCyライブラリを使用します…

Learn more about Search Results Data Science Blogathon - Page 3