言語モデルを使用したドキュメントの自動要約のテクニック

美容とファッションの専門家による、言語モデルを活用したドキュメント自動要約テクニック

要約化は、大量の情報をコンパクトで有意義な形に縮約する技術であり、情報豊かな時代における効率的なコミュニケーションの基盤となります。データが溢れる世界では、長いテキストを短い要約にまとめることで時間を節約し、情報を的確に把握する助けとなります。要約化は内容を縮約し、情報を簡潔かつ論理的に提示することで、時間の節約と明確さの向上に役立ちます。要約化は意思決定においても、大量のコンテンツの管理においても貴重な存在です。

要約化の手法は、さまざまな目的を果たすために幅広いアプリケーションがあります。具体的な例としては以下のようなものがあります:

• ニュースの集約 – ニュースの要約は、メディア業界向けのニュースレターにニュース記事をまとめることを意味します
• 法的文書の要約 – 法的文書の要約は、法律関連の専門家が条件や契約などの長文書から重要な法的情報を抽出するのに役立ちます
• 学術研究 – 要約化は学術論文から重要な情報を注釈し、索引化、縮約、単純化する役割を果たします
• ブログやウェブサイトのコンテンツキュレーション – マーケティングなどで、読者向けに魅力的でオリジナルなコンテンツの要約を作成することができます
• 財務報告と市場分析 – レポートから財務の洞察を抽出し、金融業界の投資家プレゼンテーションのための執行要約を作成することができます

自然言語処理（NLP）、言語モデル、生成型AIの進歩により、さまざまな長さのテキストの要約化がよりアクセスしやすくなりました。LangChainなどのツールは、Amazon BedrockやAmazon SageMaker JumpStartなどの大規模な言語モデル（LLM）と組み合わせて、実装プロセスを簡略化します。

この記事では、以下の要約化技術について詳しく説明します:

• 「リトリーバル増強生成（RAG）とファインチューニング、どちらを選ぶべきですか？」
• 詳細に説明されたLlama 2：Metaの大型言語モデル！
• 「GCPの生成AI機能を活用して変革するBFSIサービス」

• BERT抽出型要約器を使用した抽出型要約化
• 専門の要約モデルとLLMを使用した要約化
• 2つの多レベル要約化技術:
  • 抽出型-抽象型コンテンツ要約化戦略（EACSS）を使用した抽出型-抽象型要約化
  • Map ReduceとMap ReRankを使用した抽象型-抽象型要約化

完全なコードサンプルはGitHubリポジトリで見つけることができます。このソリューションをAmazon SageMaker Studioで起動することができます。

AWSコンソールを開き、手順に従うにはここをクリックしてください。

要約の種類

テキストを要約するためのいくつかの技術があり、大まかには「抽出型」と「抽象型」の2つの主要なアプローチに分類されます。さらに、多レベル要約化の方法では、抽出型と抽象型の技術を組み合わせた一連の手順を組み合わせています。これらの多レベルアプローチは、LLMの制限を超えるトークンを含むテキストを扱う際に有利であり、複雑なナラティブの理解を可能にします。

抽出要約

抽出要約はNLPとテキスト分析で使用される技術であり、主要な文を抽出して要約を作成する方法です。抽象的要約とは異なり、新しい文や内容を生成するのではなく、抽出要約は元のテキストの最も関連性の高い情報を特定して抜き出し、短縮バージョンを作成します。

抽出要約は、元のコンテンツを保持し、ソーステキストから重要な文を直接引用することにより、読みやすさを高めるという利点がありますが、制約も存在します。創造性に欠け、新しい文を生成することができず、微妙な詳細を見落とす可能性があるため、重要な情報を見逃すことがあります。さらに、要約が長くなる場合があり、時には読者に過剰で不要な情報を与えてしまうこともあります。TextRankやLexRankといったさまざまな抽出要約手法がありますが、この記事ではBERT抽出要約器に焦点を当てます。

BERT抽出要約器

BERT抽出要約器は、テキストから最も重要な文を抽出するためにBERT言語モデルを使用する抽出要約モデルの一種です。BERTは事前に学習された言語モデルであり、テキスト要約を含むさまざまなタスクに対して微調整することができます。BERTはまず、テキスト内の文をBERTを使用して埋め込みます。これにより、各文に対するベクトル表現が生成され、その意味と文脈が捉えられます。モデルはその後、クラスタリングアルゴリズムを使用して文をクラスタにグループ化します。各クラスタの中心に最も近い文が要約に選ばれます。

LLMと比較して、BERT抽出要約器の利点はモデルのトレーニングと展開が比較的簡単であり、説明可能性があることです。欠点は、要約が創造的ではなく、文を生成しないことです。元のテキストから文を選択するだけです。これにより、複雑なまたは微妙なテキストを要約する能力が制限されます。

抽象的要約

抽象的要約は、NLPとテキスト分析で使用される技術であり、ソーステキストから文やフレーズを単純に抽出するだけでなく、元のテキストの主要な意味や主要なアイデアをより短く、より統一的な形で捉える要約を作成する方法です。この手法では、モデルはテキストの内容を理解し、ソース素材に必ずしも存在しない方法で表現するために新しい文やフレーズを生成する必要があります。

特化した要約モデル

これらの事前学習済みの自然言語モデル（BARTやPEGASUSなど）は、テキスト要約タスクに特化しています。これらのモデルはエンコーダ・デコーダのアーキテクチャを使用し、他のモデルに比べてパラメータが少なくなっています。これにより、より小さなインスタンスでの簡単な微調整と展開が可能です。ただし、これらの要約モデルは、入力および出力トークンサイズが小さいことに留意する必要があります。より汎用性のあるモデルとは異なり、これらのモデルは要約タスク専用に設計されています。そのため、これらのモデルに必要な入力は要約するテキストだけです。

大規模言語モデル

大規模言語モデルとは、広範で多様なデータセットでトレーニングされ、通常は自己教師あり学習により大規模スケールで微調整可能であり、さまざまな特定の下流タスクに合わせて最適化できるモデルのことを指します。これらのモデルはパラメータサイズが大きく、タスクにおいて優れたパフォーマンスを発揮します。特に、一部では10万以上の入力トークンサイズを備えたモデルもあります。例えばAnthropicのClaudeです。これらのモデルの利用には、AWSが完全に管理されたサービスAmazon Bedrockを提供しています。モデルの開発ライフサイクルをより細かく制御したい場合は、SageMakerを介してLLMsを展開することも可能です。

その柔軟性から、これらのモデルは入力テキストを通じて特定のタスクの指示を受ける必要があり、これを「ひな型エンジニアリング」と呼びます。この創造的プロセスによって、モデルのタイプと入力テキストに基づいて異なる結果が得られます。モデルのパフォーマンスとひな型の品質の両方が、最終的な出力の品質に大きく影響します。要約のためのひな型エンジニアリングの際のいくつかのヒントを以下に示します：

• 要約するテキストを含める – 要約が必要なテキストを入力します。これは要約の元の素材として機能します。
• 課題を定義する – 目標がテキストの要約であることを明確に述べます。例えば、「以下のテキストの要約を作成してください：[入力テキスト]」とします。
• 文脈を提供する – 要約する必要のあるテキストについて、簡単な導入文や文脈を提供します。これにより、モデルが内容と文脈を理解できます。例えば、「以下の記事は人工知能と医療の役割についてのものです：[入力テキスト]」とします。
• 要約を促す – モデルに提供されたテキストの要約を生成するように促します。要約の望ましい長さや形式について明確にします。例えば、「人工知能と医療に関する記事の簡潔な要約を生成してください：[入力テキスト]」とします。
• 制約や長さのガイドラインを設定する – 必要に応じて、要約の長さを指定することで要約の長さを制御します。例えば、「50語を超えない要約を生成してください：[入力テキスト]」とします。

効果的なプロンプトエンジニアリングは、生成される要約が正確で関連性があり、意図した要約タスクと一致することを保証するために重要です。実験と反復を通じて、最適な要約結果を得るためにプロンプトを洗練させてください。プロンプトの効果を確立した後は、プロンプトテンプレートを使用して再利用することができます。

多段階要約

抽出型要約と抽象型要約は短いテキストには有用です。ただし、入力テキストがモデルの最大トークン制限を超える場合、多段階要約が必要になります。多段階要約は、抽出型および抽象型の要約手法を組み合わせ、複数の要約処理レイヤーを適用することでより長いテキストを効果的に短縮する手法です。このセクションでは、2つの多段階要約手法である抽出型-抽象型要約と抽象型-抽象型要約について説明します。

抽出型-抽象型要約

抽出型-抽象型要約は、まずテキストの抽出型要約を生成し、それを洗練させるために抽象型要約システムを使用することで機能します。これにより、抽出型手法だけではなくより情報量の豊かな要約が提供されることで、正確性が向上します。

抽出型-抽象型コンテンツ要約の戦略

EACSS（Extractive Abstractive Content Summarization Strategy）技術は、2つの強力な技術を組み合わせています。抽出フェーズではBERT抽出要約器を使用し、抽象フェーズではLLM（Language Models）を使用して抽出型要約を洗練させるという具体例が以下の図に示されています。

EACSSには、重要な情報の保持、読みやすさの向上、適応性などの利点があります。ただし、EACSSの実装は計算コストが高く複雑です。潜在的な情報の損失のリスクがあり、要約の品質は基盤となるモデルの性能に大きく依存するため、最適な結果を得るために慎重なモデルの選択と調整が必要です。実装には以下のステップが含まれます：

1. 最初のステップは、本や書類などの大きなドキュメントを、より小さなセクションまたはチャンクに分割することです。これらのチャンクは、要約に望む粒度に応じて、文、段落、または章などと定義されます。
2. 抽出フェーズでは、BERT抽出要約器を使用します。このコンポーネントは、各チャンク内の文を埋め込み、クラスタの重心に最も近い文を特定するクラスタリングアルゴリズムを用いて、重要で関連性の高い内容を保持します。この抽出ステップにより、各チャンクから最も重要なコンテンツが保持されます。
3. 各チャンクの抽出型要約を生成した後、抽象型要約のフェーズに進みます。ここでは、抽象的な要約を生成する能力で知られるLLMを使用します。これらのモデルは抽出型要約を入力とし、元のドキュメントの要点を捉えながら読みやすさと一貫性を確保した抽象的な要約を生成します。

抽出と抽象的要約技術を組み合わせることで、このアプローチは書籍などの長文の要約に効率的で包括的な方法を提供します。重要な情報を抽出する一方、簡潔で人間が読みやすい要約の生成も許可するため、ドキュメント要約の領域でさまざまなアプリケーションにとって貴重なツールです。

抽象的抽象的要約

抽象的抽象的要約は、抽象的な方法を使用して要約を抽出および生成するアプローチです。これには、読みやすさ、つながり、要約の長さと詳細を調整する柔軟性などの注目すべき利点があります。言語生成においては優れており、言い換えや冗長性の回避が可能です。ただし、計算負荷が高く、リソースが多く消費され、生成された要約の品質に影響を及ぼす、十分に訓練されていないまたは多目的ではない基盤モデルの効果に大きく依存するという欠点もあります。これらの課題を緩和し、高品質な抽象的要約を確保するためには、モデルの選択が重要です。抽象的抽象的要約のために、Map ReduceとMap ReRankの2つの戦略について説明します。

LangChainを使用したMap Reduce

この2段階のプロセスは、次の図に示すように、MapステップとReduceステップで構成されています。この技術により、モデルのトークン制限よりも長い入力を要約することができます。

このプロセスは3つの主要なステップで構成されています：

1. コーパスはLLMのトークン制限に収まるように小さなチャンクに分割されます。
2. 各パッセージから重要な情報を抽出するLLMチェーンを個別に適用するMapステップを使用し、その出力を新しいパッセージとして使用します。コーパスのサイズと構造によっては、包括的なテーマや短い要約の形式であることがあります。
3. マップステップまたはリデュースステップの出力パッセージを結合し、トークン制限に収まるようにしてLLMに供給します。このプロセスは、最終的な出力が単一のパッセージであるまで繰り返されます。

このテクニックの利点は、高いスケーラビリティと並列化の可能性があることです。各ステップでの処理は互いに独立しており、分散システムやサーバーレスサービスの利点を活用し、計算時間を短縮することができます。

LangChainを使用したMap ReRank

このチェーンは、各ドキュメントに対して初期プロンプトを実行し、タスクを完了するだけでなく、回答の確率をスコアリングします。スコアが最も高い応答が返されます。

この技術はMap Reduceに非常に似ていますが、全体的な呼び出し数が少なくて済むため、要約プロセスが合理化されます。ただし、複数のドキュメント間での情報の統合ができないという制限があります。この制約は、単一の文書からの単純明快な回答が期待されるシナリオで最も効果的ですが、複雑な情報検索タスクや複数のソースを含む場合には適さないため、文脈とデータの性質を慎重に考慮して、特定の要約ニーズにこのメソッドの適切さを判断する必要があります。

Cohere ReRankは、ユーザーのクエリのキーワードの関連性を超えてクエリの意味を文脈化する意味ベースの再ランキングシステムを使用しています。このシステムは、ベクトルベースのストアシステムやキーワードベースの検索エンジンと共に使用され、柔軟性を備えています。

要約技術の比較

各要約技術にはそれぞれ独自の利点と欠点があります：

• 抽出型要約は元のコンテンツを保持し、読みやすさを確保しますが、創造性に欠ける場合や長い要約を生成する可能性があります。
• 抽象型要約は創造性を提供し、簡潔で流暢な要約を生成しますが、意図しない内容の変更や言語の正確性の課題、リソース集約型の開発というリスクも伴います。
• 抽出-抽象型のマルチレベル要約は大規模なドキュメントを効果的に要約し、抽出の部分を微調整する柔軟性を提供します。ただし、コストがかかり、時間がかかり、パラメータの調整が難しいため、並列化が欠けています。
• 抽象-抽象型のマルチレベル要約も大規模なドキュメントを効果的に要約し、読みやすさやつながりに優れています。ただし、計算負荷が高く、リソースが多く消費され、基盤モデルの効果に大きく依存するという制約があります。

注意深いモデル選択は、この手法において課題を軽減し、高品質な要約を確保するために重要です。以下の表は、各種要約の能力をまとめたものです。

側面	抽出要約	抽象的要約	マルチレベル要約
創造的で魅力的な要約を生成する	しない	する	する
オリジナルの内容を保持する	する	しない	しない
情報の保存と創造性のバランスを取る	しない	する	する
短い客観的なテキストに適している（モデルの最大トークン数よりも入力テキストの長さが小さい）	する	する	しない
本などの長く複雑なドキュメントに効果的（入力テキストの長さがモデルの最大トークン数よりも大きい）	しない	しない	する
抽出とコンテンツ生成を組み合わせる	しない	しない	する

マルチレベル要約技術は、入力テキストの長さがモデルのトークン制限を超える長く複雑なドキュメントに適しています。以下の表では、これらの技術を比較しています。

技術	利点	欠点
EACSS（抽出-抽象的）	重要な情報を保持し、モデルの抽出部分を微調整する能力を提供します。	計算量が多く、情報の損失が発生する可能性があり、並列化が不足しています。
Map Reduce（抽象的-抽象的）	スケーラブルで並列化可能で、計算時間が少ないです。創造的で簡潔な要約を生成するための最良の技術です。	メモリ使用量が多いプロセスです。
Map ReRank（抽象的-抽象的）	セマンティックベースのランキングに基づいた効率的な要約です。	情報の統合が限定されています。

テキスト要約時のヒント

テキスト要約時には、次のベストプラクティスに注意してください。

• トークンの合計サイズに注意する – テキストがモデルのトークン制限を超えた場合は、テキストを分割するか、LLMsを使用する場合は複数のレベルの要約を利用してください。
• データソースの種類と数に注意する – 複数のソースからの情報を組み合わせる場合は、変換、明確な組織、統合戦略が必要となる場合があります。 LangChain Stuff では、さまざまなデータソースやドキュメントタイプの統合をサポートしています。この技術を利用することで、異なるドキュメントやデータソースからのテキストを組み合わせるプロセスが簡素化されます。
• モデルの特殊化に注意する – 一部のモデルは特定のコンテンツに優れているかもしれませんが、他のコンテンツには苦労するかもしれません。テキストのドメインに適した細かく調整されたモデルが存在するかもしれません。
• 大量のテキストにはマルチレベル要約を使用する – トークン制限を超えるテキストに対しては、マルチレベル要約アプローチを検討してください。まず高レベルの要約から主要なアイデアを捉え、進行して節や章を要約して詳細な洞察を得るようにします。
• トピックごとにテキストを要約する – このアプローチは論理の流れを保ち、情報の損失を減らし、重要な情報を保持するために役立ちます。LLMsを使用する場合は、テキスト全体を要約するのではなく、特定のトピックを要約するための明確で具体的なプロンプトを作成します。

結論

要約は、情報豊かな時代において重要なツールとして位置づけられており、大量の情報を簡潔かつ意味のある形式に効率的にまとめることを可能としています。さまざまなドメインで重要な役割を果たし、多くの利点を提供します。要約は、長い文書から重要な内容を迅速に伝えることで時間を節約し、重要な情報を抽出することで意思決定を支援し、教育やコンテンツキュレーションにおいて理解を向上させます。

この投稿では、抽出型、抽象型、マルチレベルのアプローチを含むさまざまな要約技術について包括的な概要を提供しました。LangChainや言語モデルなどのツールを活用することで、要約の力を利用してコミュニケーションの効率化や意思決定の改善、膨大な情報リポジトリの全体像を活用することができます。この投稿の比較表は、プロジェクトに最適な要約技術を特定するのに役立ちます。さらに、投稿で共有されたヒントは、テキスト要約のためのLLMの実験時に繰り返しエラーを避けるための貴重なガイドラインとなります。この実践的なアドバイスにより、得られた知識を適用し、プロジェクトにおいて成功と効率的な要約を保証することができます。

参考文献

• Amazon SageMakerとHugging Faceを使用したテキスト要約
• 独自のデータを使用して要約と質問への回答のための生成AI基盤モデルを使用する
• Amazon SageMaker上のHugging Faceで文書要約を民主化する

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!