メタAIがNougatをリリース：科学文書を処理するためのOCRを実行するビジュアルトランスフォーマーモデルで、マークアップ言語に変換します

Meta AI releases Nougat a visual transformer model that performs OCR to process scientific documents and converts them into markup language.

人工知能の発展とともに、そのサブフィールドである自然言語処理、自然言語生成、コンピュータビジョンなどは、広範なユースケースにより急速に人気を集めています。光学文字認識（OCR）は、コンピュータビジョンの確立された研究領域であり、積極的に研究が行われています。ドキュメントのデジタル化、手書き文字認識、シーンテキスト識別など、多くの用途があります。数式の認識は、OCRの中でも特に学術研究で大いに関心を集めている領域です。

ポータブルドキュメントフォーマット（PDF）は、科学知識の最も広く使用される形式の1つであり、通常は書籍に保存されるか、学術誌に掲載されます。インターネット上で2.4％の情報を占める最も使用されるデータ形式の2番目のPDFは、ドキュメント配信に頻繁に使用されます。広範な使用にもかかわらず、PDFファイルから情報を抽出することは難しい場合があります。特に、これらの論文がPDF形式に変換されると、数式の意味情報が頻繁に失われます。

これらの課題に対処するため、Meta AIの研究チームは「Neural Optical Understanding for Academic Documents」を意味する「Nougat」という解決策を提案しました。Nougatは、科学的なテキストに光学文字認識（OCR）を行うためのVisual Transformerモデルです。その目標は、これらのファイルをマークアップ言語に変換して、より簡単にアクセス可能で機械読み取り可能にすることです。

• 「8/28から9/3までの週のトップの重要なコンピュータビジョン論文」
• 「HybridGNetによる解剖学的セグメンテーションの秘密を明らかにする：可能性のある解剖学的構造のデコードのためのAIエンコーダーデコーダー」
• このAI論文では、ディープラーニングモデルを用いたAIS（アンドロゲン不感症）のテストに関する研究が紹介されています

手法の効果を示すために、チームは学術論文の新しいデータセットも作成しました。この手法は、デジタル時代における科学知識のアクセシビリティを向上させるための具体的な答えを提供します。これにより、人間にとって読みやすい書面とコンピュータが処理・分析できるテキストとの間のギャップが埋まります。研究者、教育者、科学文献に興味のある人は、Nougatを使用して科学論文により効果的にアクセスし、取り扱うことができます。Nougatは、基本的にはイメージを持つドキュメントページ、特にPDFからフォーマットされたマークアップテキストに変換するためのトランスフォーマーベースのモデルです。

チームは、次のような主な貢献をまとめています。

1. 事前学習済みモデルの公開：チームはPDFをシンプルなマークアップ言語に変換することができる事前学習済みモデルを作成しました。この事前学習済みモデルはGitHubで公開されており、研究コミュニティや誰でもアクセスできるようになっています。

1. データセット作成のためのパイプライン：PDF文書とそれに関連するソースコードをペアにするためのデータセット作成方法が研究で説明されています。このデータセットの開発方法は、Nougatモデルのテストや改善、将来の文書分析の研究や応用に役立つ可能性があります。

1. ページのイメージに依存：Nougatの特徴の1つは、ページのイメージのみで動作できる能力です。これにより、元のドキュメントがデジタルテキスト形式で利用できない場合でも、さまざまなソースからコンテンツを抽出する柔軟なツールとなります。スキャンされた論文や書籍を処理することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!