Learn more about Search Results レイアウト要素

「Amazon Textractの新しいレイアウト機能は、一般的な目的と生成型のAIドキュメント処理タスクに効率をもたらします」

Amazon Textractは、任意のドキュメントや画像から自動的にテキスト、手書き、データを抽出する機械学習（ML）サービスですAnalyzeDocument Layoutは、ドキュメントから段落、タイトル、字幕、ヘッダー、フッターなどのレイアウト要素を自動的に抽出する新機能ですこのレイアウト機能は、Amazon Textractの単語と行の検出を拡張します

「文書理解の進展」

Google Research、Athenaチームのソフトウェアエンジニア、サンディープ・タタ氏による投稿 過去数年間で、複雑なビジネスドキュメントを自動的に処理し、それらを構造化されたオブジェクトに変換するシステムの進歩が急速に進んでいます。領収書、保険見積もり、財務報告書などのドキュメントからデータを自動的に抽出するシステムは、エラーが多く手作業が必要な作業を回避することで、ビジネスワークフローの効率を劇的に向上させる潜在能力を持っています。Transformerアーキテクチャに基づいた最近のモデルは、驚異的な精度の向上を示しています。PaLM 2などのより大規模なモデルは、これらのビジネスワークフローをさらに効率化するために活用されています。しかし、学術文献で使用されるデータセットは、現実のユースケースで見られる課題を捉えることができていません。その結果、学術ベンチマークはモデルの精度を高く報告していますが、同じモデルを複雑な現実世界のアプリケーションに使用すると、精度が低下します。 KDD 2023で発表された「VRDU: A Benchmark for Visually-rich Document Understanding」では、このギャップを埋め、研究者がドキュメント理解タスクの進捗状況をより正確に追跡できるようにするため、新しいVisually Rich Document Understanding（VRDU）データセットの公開を発表しています。私たちは、ドキュメント理解モデルが頻繁に使用される実世界のドキュメントの種類に基づいて、良いドキュメント理解ベンチマークのための5つの要件をリストアップしています。そして、現在研究コミュニティで使用されているほとんどのデータセットがこれらの要件のいずれかを満たしていないことを説明し、一方でVRDUはこれらの要件をすべて満たしていることを説明しています。私たちは、VRDUデータセットと評価コードをクリエイティブ・コモンズ・ライセンスの下で公開することを発表できることを喜んでいます。 ベンチマークの要件 まず、実世界のユースケースでの最先端のモデルの精度（例：FormNetやLayoutLMv2との比較）を学術ベンチマーク（例：FUNSD、CORD、SROIE）と比較しました。その結果、最先端のモデルは学術ベンチマークの結果とは一致せず、実世界でははるかに低い精度を提供しました。次に、ドキュメント理解モデルが頻繁に使用される典型的なデータセットを学術ベンチマークと比較し、実世界のアプリケーションの複雑さをより良く捉えるための5つのデータセットの要件を特定しました： リッチスキーマ：実際の実務では、構造化抽出のためのさまざまな豊富なスキーマが存在します。エンティティには異なるデータ型（数値、文字列、日付など）があり、単一のドキュメント内で必須、オプション、または繰り返しの場合もあり、さらにネストする場合もあります。ヘッダ、質問、回答などの単純なフラットなスキーマの抽出タスクでは、実務でよく遭遇する問題を反映していません。 レイアウト豊かなドキュメント：ドキュメントには複雑なレイアウト要素が含まれている必要があります。実践的な設定での課題は、ドキュメントにテーブル、キーと値のペア、単一列と二列のレイアウトの切り替え、異なるセクションのフォントサイズの変化、キャプション付きの画像や脚注などが含まれることです。これに対して、ほとんどのドキュメントが文、段落、セクションヘッダを持つ文章で構成されているデータセットとは対照的です。これは、長い入力に関する古典的な自然言語処理文献の焦点となるようなドキュメントの種類です。 異なるテンプレート：ベンチマークには異なる構造のレイアウトやテンプレートが含まれるべきです。特定のテンプレートから抽出することは、高容量モデルにとっては容易ですが、実際の実務では新しいテンプレート/レイアウトにも対応できる汎化能力が必要です。ベンチマークのトレーニングとテストの分割によって測定される能力です。 高品質なOCR：ドキュメントは高品質な光学文字認識(OCR)の結果を持っている必要があります。このベンチマークでは、VRDUタスク自体に焦点を当て、OCRエンジンの選択によってもたらされる変動性を除外することを目指しています。 トークンレベルの注釈：ドキュメントには、対応する入力テキストの一部としてマッピングできる正解の注釈が含まれている必要があります。これにより、各トークンを対応するエンティティの一部として注釈付けすることができます。これは、単にエンティティから抽出するための値のテキストを提供するだけではありません。これは、与えられた値に偶発的な一致があることを心配する必要がないクリーンなトレーニングデータの生成に重要です。たとえば、一部の領収書では、「税抜き合計」フィールドが「合計」フィールドと同じ値を持つ場合があります。トークンレベルの注釈があれば、両方の一致する値が「合計」フィールドの正解としてマークされたトレーニングデータを生成することを防ぐことができ、ノイズのない例を生成できます。 VRDUのデータセットとタスク VRDUデータセットは、登録フォームと広告購入フォームの2つの公開データセットを組み合わせたものです。これらのデータセットは、実世界の使用例を代表する例を提供し、上記の5つのベンチマーク要件を満たしています。…

Google AIは、ドキュメント理解タスクの進捗状況をより正確に追跡するためのデータセットである「Visually Rich Document Understanding (VRDU)」を導入しました

I had trouble accessing your link so I’m going to try to continue without it. 今日のデジタル時代において、ビジネスによって作成された文書はますます増え、保存されています。これらの文書には有用な情報が含まれている場合もありますが、読みやすく理解しやすいとは限りません。請求書、フォーム、契約書など、視覚的に複雑なものはさらに困難を伴います。このような出版物のレイアウト、表、グラフィックスは、有用な情報を抽出することを困難にするかもしれません。 この知識のギャップを埋め、文書理解タスクの進捗状況を改善するために、Googleの研究者は新しい「Visually Rich Document Understanding (VRDU)」データセットの提供を発表しました。このデータセットは、通常文書理解モデルで処理される実世界の文書のタイプに基づいており、効果的なベンチマークのための5つの基準を示しています。研究コミュニティで最も一般的に使用されるデータセットが少なくとも1つの基準を満たしていないのに対し、VRDUはすべての基準で優れています。Googleの研究者は、VRDUデータセットと評価コードをクリエイティブ・コモンズ・ライセンスの下で一般に公開することを喜んでいます。 「Visually Rich Document…

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us