「ヌガットモデルを使用した研究論文の生成AI」

AI for generating research papers using Nugget models

データを活用して素晴らしいことをする！

はじめに

GPT-4などの大規模言語モデル（LLM）の最近の進歩により、連続したテキストの生成能力が大幅に向上しました。しかし、研究論文の正確なパースと理解は、AIにとって非常に困難な課題のままです。研究論文には複雑なフォーマット、数式、表、図、および特定のドメインの言語が含まれています。情報の密度が非常に高く、重要な意味がフォーマットにエンコードされています。

本記事では、MetaのNougatという新しいモデルが研究論文の正確なパースにどのように役立つかを実証します。そして、それをLLMパイプラインと組み合わせて、論文内のすべての表を抽出して要約する方法を紹介します。

ここには膨大なデータ/情報があります。正確なパースは、LLMの再トレーニングを含むさまざまなアプリケーションでそれらの活用を可能にします。

Nougatモデル

Nougatは、Meta AIの研究者によって開発されたビジュアルトランスフォーマーモデルであり、ドキュメントページの画像を構造化されたテキストに変換することができます[1]。ドキュメントページのラスタ化された画像を入力とし、軽量なマークアップ言語でテキストを出力します。

• 「研究者たちが、チップベースのサーミオニック冷却を量子コンピュータに応用可能にしました」
• ChatGPTはナップサック問題を解決できますか？
• このAI研究は、ITオペレーション向けの新しい大規模言語モデルであるOwlを紹介します

Nougatの主な利点は、OCRテキストを必要とせず、ドキュメント画像だけに依存することです。これにより、数式などの意味構造を適切に復元することができます。Nougatは、arXivとPubMedの数百万の学術論文でトレーニングされ、研究論文のフォーマットや言語のパターンを学習します。

[1]からの以下の図は、PDFで書かれた数式がLatexに再現され、正しく表示される様子を示しています。

Nougatは、ビジュアルトランスフォーマーエンコーダーデコーダーアーキテクチャを使用しています。エンコーダーは、Swingトランスフォーマーを使用してドキュメント画像を潜在的な埋め込みにエンコードします。Swinトランスフォーマーは、シフトされたウィンドウを使用して階層的に画像を処理します。デコーダーは、エンコーダー上の自己注意を使用して、出力テキストトークンを自動回帰的に生成します…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!