Search Results ドキュメント

Google AIは、ドキュメント理解タスクの進捗状況をより正確に追跡するためのデータセットである「Visually Rich Document Understanding (VRDU)」を導入しました

I had trouble accessing your link so I’m going to try to continue without it. 今日のデジタル時代において、ビジネスによって作成された文書はますます増え、保存されています。これらの文書には有用な情報が含まれている場合もありますが、読みやすく理解しやすいとは限りません。請求書、フォーム、契約書など、視覚的に複雑なものはさらに困難を伴います。このような出版物のレイアウト、表、グラフィックスは、有用な情報を抽出することを困難にするかもしれません。この知識のギャップを埋め、文書理解タスクの進捗状況を改善するために、Googleの研究者は新しい「Visually Rich Document Understanding (VRDU)」データセットの提供を発表しました。このデータセットは、通常文書理解モデルで処理される実世界の文書のタイプに基づいており、効果的なベンチマークのための5つの基準を示しています。研究コミュニティで最も一般的に使用されるデータセットが少なくとも1つの基準を満たしていないのに対し、VRDUはすべての基準で優れています。Googleの研究者は、VRDUデータセットと評価コードをクリエイティブ・コモンズ・ライセンスの下で一般に公開することを喜んでいます。「Visually Rich Document…

「Google LLMは、ドキュメントを読むだけでツールをマスターできる」

急速な技術の進歩の時代において、人工知能（AI）は時折、人間のような驚異的な進歩を遂げています。Googleの研究者たちは画期的な成果を発表しました。大規模言語モデル（LLM）は、単なるツールのドキュメントを手助けにするだけで、機械学習（ML）モデルとAPIを活用することができるようになりました。この発見により、AIと人間のような能力の融合についての議論が巻き起こりました。また読む：人工知能 vs 人間の知能：トップ7の違いオードリー効果：AIに自転車の乗り方を教える 4歳のオードリーという名前の子供に自転車の乗り方を教えることを想像してみてください。初めは補助輪から始め、さまざまなシナリオを通じて彼女を導き、最終的にはオードリーが自信を持って乗るようになります。同様に、Googleの研究者たちはドキュメントを通じてLLMにツールの機能を紹介し、事前のトレーニングなしにこれらのツールを操作することができるようにしました。まるでオードリーが本でそれについて読んで自転車の乗り方を学んだかのような、印象的で独立した方法です。また読む：メタがテキスト、画像、音声を同時にトレーニングしたAIモデルをオープンソース化デモからドキュメントへ：新しい光でAIを教える歴史的には、AIモデルはデモンストレーション（デモ）を通じてツールを学習していました。多くの例が必要でした。Googleの画期的な手法はこれを変えました。彼らはツールのドキュメント（ドキュメント）を使用してLLMに教え、各使用ケースをデモする代わりにツールの機能を説明しました。この新しい手法は、AIがツールの理解を拡大し、効果的にツールの機能を探索する能力を高めることを目指しています。 AIの卒業：多岐にわたるタスクこの新しい手法の力を評価するために、Googleの研究者はLLMをさまざまなタスクに従事させました。これには、マルチモーダルな質問応答、表形式の数学的推論、マルチモーダルな推論、APIの未知の使用、画像編集、ビデオトラッキングなどが含まれます。ChatGPTとして知られるモデルは徹底的にテストされ、その結果は驚くべきものでした。また読む：AIは今や見たり聞いたりできる：マルチモーダルAIの世界へようこそパフォーマンスの公開：ツール+ドキュメント vs デモ Googleの実験により、ドキュメントがLLMのパフォーマンスに与える影響が明らかになりました。ツールのドキュメントを持っている場合、モデルのパフォーマンスはデモの数が減少しても一定の水準を保ちます。ただし、ツールのドキュメントがない場合、モデルのパフォーマンスはデモの数の変動に対して脆弱になります。これは、ドキュメントが多目的なツールの利用能力を備えたAIモデルに与える重要な役割を示しています。また読む：GPTBotの公開：WebをクロールするOpenAIの大胆な動き AIの驚異的な偉業：ツールのドキュメントの力特筆すべきことに、ツールのドキュメントは人工知能の訓練と開発において画期的な変化をもたらします。研究者たちは、ツールのドキュメントだけで駆動されるLLMが、画像編集やビデオトラッキングなどのタスクにおいて最近のビジョンモデルを巧みに使用できることを実証しました。この成果により、ツールの使用が簡素化され、AIの自律的な知識の発見の可能性が示唆されます。ただし、ドキュメントの長さが600語を超えると、モデルの制約が明らかになります。未来への一瞥：影響と発見ツールの使用に加えて、Googleの調査結果は、ツールのドキュメントを通じた自動的な知識の発見への飛躍を意味しています。この研究は、AIの認知能力とツールの利用能力との間のギャップを埋めるものです。追加のデモンストレーションなしで人気のあるプロジェクトを再現することにより、AIの未来は限りなく広がり、その推論能力の新たな次元を明らかにする可能性があります。私たちの意見 Googleの研究は、AIの驚異的な進化を示し、可能性の範囲を広げるものです。人工知能がツールのドキュメントを通じてMLモデルとAPIをマスターすることで、効率性の向上だけでなく、AIシステム内での自己発見の可能性を解き明かします。AIとツールのドキュメントの交差点は、人間のような能力と技術的な優位性が出会う領域への重要な一歩です。

AIは人間過ぎるようになったのでしょうか？Google AIの研究者は、LLMsがツールのドキュメントだけでMLモデルやAPIを利用できるようになったことを発見しました！

人工知能が地球を支配しようとする現代において、大規模な言語モデルは人間の脳により近づいています。Googleの研究者たちは、大規模な言語モデルが各ツールのドキュメンテーションを提供するだけで事前のトレーニングなしに未知のツールをゼロショットで使用できることを証明しました。この解決策全体を、4歳のオードリーに自転車の乗り方を教えることに例えることができます。最初に、彼女に自転車の乗り方を教え、学ぶのを手伝いました（デモンストレーション）。トレーニングホイールを使って乗る方法と、トレーニングホイールを使わずに乗る方法を彼女に示しました。つまり、さまざまなシナリオを彼女に見せました。この解決策は、彼女が本（ドキュメント）で自転車の乗り方を読み、自転車のさまざまな機能について学び、私たちの助けなしで乗ることができるようになった部分に対応しており、それを非常に印象的に行っています。彼女はスキッドすることができ、トレーニングホイールを使ったり使わずに乗ることができます。ここにオードリーが成長した様子が見えますね？デモンストレーション（デモ）は、少数の例を使用して言語モデルにツールの使用方法を教えます。存在するすべてのツールプランをカバーするためには、多くの例が必要かもしれません。ドキュメンテーション（ドキュメント）は、ツールの機能を説明することで言語モデルにツールの使用方法を教えます。ドキュメントとデモをプロンプトに含める/除外する組み合わせ、およびデモの数を変えて、モデルの結果とパフォーマンスを分析しました。さまざまなツールセットを使用して、複数のモダリティにまたがる6つのタスクで実験が行われました。使用されたLLMプランナーはChatGPT（gpt-3.5-turbo）で、6つのタスクは以下の通りです：ScienceQAにおけるマルチモーダルな質問応答、TabMWTabMWP（数学推論データセット）における表形式の数学推論、NLVRv2におけるマルチモーダルな推論、新たに収集されたデータセットにおける未知のAPIの使用、自然言語による画像編集、およびビデオトラッキング。彼らは、各データセットでツールのドキュメンテーションを使用した場合と使用しなかった場合のモデルのパフォーマンスを、異なる数のデモンストレーション（デモ）で評価しました。調査結果は、ツールのドキュメント化によってデモンストレーションの必要性が低下することを示しています。ツールのドキュメントがある場合、モデルはデモンストレーションの数が削減されても安定したパフォーマンスを維持するようですが、ツールのドキュメントがない場合、モデルのパフォーマンスは使用されるデモンストレーションの数に非常に敏感であることが示されました。品質の比較を通じて、ドキュメントに頼ることは、大規模な言語モデルが多数の利用可能なツールを備えるためのスケーラブルな解決策を提供することがわかりました。さらに、ツールのドキュメントだけでLLMは最新のビジョンモデルを理解し、新しいデモを必要とせずに画像編集やビデオトラッキングのタスクで印象的な結果を達成することができます。研究者は、結果が非常に印象的で別のブレークスルーを示唆しているものの、ドキュメントの長さが600ワードを超えると性能が低下することを発見しました。結果として、この論文はLLMがドキュメンテーションを通じてツールを学ぶだけでなく、追加のデモンストレーションなしで「Grounded SAM」と「Track Anything」などの人気プロジェクトの結果を再現することを示し、ツールのドキュメントを通じた自動的な知識の発見の可能性を示唆しています。これにより、LLMにおけるツールの使用の視点において新たな方向性がもたらされ、モデルの推論能力を明らかにすることを目指しています。

「CREATORと出会ってください：ドキュメントとコードの実現を通じて、LLMs自身が自分のツールを作成するための革新的なAIフレームワーク」

大規模言語モデル（LLMs）は、最近の数年間で大きな進歩を遂げています。GPT-3、Codex、PaLM、LLaMA、ChatGPT、そしてより現在のGPT4などのモデルにより、LLMsの潜在能力は、インコンテキスト学習、コード生成、および他のさまざまなNLPタスクにおける優れたパフォーマンスにより、人工一般知能に対してますます近づいています。これらの印象的な成果にもかかわらず、現在のLLMsにはいくつかの欠点があります。例えば、現在の情報を認識または反応することができない、正確で理解しやすい数学的な解決策を提供することが頻繁に失敗する、長い論理連鎖で推論の不安定性などです。これらの問題を解決するために、LLMsに外部ツールを提供する研究が行われています。たとえば、ウェブ検索エンジンや質問応答（QA）システムなどのツールを含めることで、LLMsは問題解決に外部リソースをいつ、どのように使用するかを学ぶことができます。最近の研究では、GitHubのリソース、ニューラルネットワークモデル（Huggingfaceモジュールなど）、コードインタプリタ（Pythonインタプリタなど）など、追加の外部LLMツールも使用されています。これらの技術を使用して複雑な問題を解決する前に、LLMsは詳細な設計図を提供する必要があります。図1は、CREATORが一般的なツール使用フレームワークと異なることを示しています。ツール拡張型LLMsは、それにもかかわらずいくつかの困難に直面しています。特に以下の領域に注目しています：（1）潜在的な革新的なタスクのバラエティは本質的に無限ですが、現在の作業は一部のツールに集中しています。そのため、新しい問題を解決するために適切な既存のツールを見つけることは困難かもしれません。（2）言語モデルの現在のツール使用方法は、本質的に複雑です。タスク処理全体には、モデルに重い認知的負荷をかけ、高い学習コストが必要です。（3）実行結果を受け取った後、ツール使用パイプラインには定義された自動エラー処理メカニズムが欠けています。フレームワークの精度と堅牢性はまだ改善が必要です。この研究では、清華大学とイリノイ大学（UC）の研究者が、新しい視点からこれらの障害に取り組むことを意図しています。彼らはLLMsにツールの開発者になり、既存のパラメータに基づいてツールを作成し、特定の問題に取り組む能力を強化します。LLMsをツールの消費者としてではなく、ツールの開発者として活用するのです。その結果、彼らはCREATORと呼ばれるツール開発フレームワークを導入します。このフレームワークは、LLMsの抽象的な推論能力を問題に基づいて利用して、既存のパラメータに応じてツールを作成および修正します。彼らは図1でCREATORと典型的なツール使用フレームワークのパイプラインの違いを示しています。ツール使用フレームワークは、推論を使用してAPIの選択と計画の効果的な使用方法を選ぶ方法に焦点を当てています。それに対して、彼らの焦点はツールセットの多様化、異なるレベルの合理性の切り離し、およびフレームワークの弾力性と正確性の向上です。 CREATORは以下の4つのステップに分けることができます： • 作成：問題に基づいて抽象的な推論を利用し、ドキュメントとコード実現を通じて広く適用可能なツールを作成します。 • 決定：適切なツールを使用していつ、どのようにツールを適用するかを選択します。 • 実装：LLMが問題を解決するためにツールを使用するプログラムを実行します。 • 修正：実行の結果に基づいて、ツールと選択を変更します。彼らはまず、既存のベンチマークであるMATHとTabMWPを使用してCREATORでのテストを実施し、その設計がどれだけ成功しているかを確認します。TabMWPは問題解決のためのさまざまな表形式を提供し、MATHデータセットには難解で多様な数学の競技課題が含まれています。特に、CREATORを基に構築されたChatGPTは、従来の思考連鎖（CoT）、思考プログラム（PoT）、およびツール使用のベースラインを大幅に上回り、MATHデータセットでは平均正確度59.7％、TabMWPデータセットでは平均正確度94.7％を達成しています。彼らはまた、ツール作成の評価に特化していない既存のベンチマークではなく、既存のツールやコードパッケージを使用して回答する必要のある革新的で困難なチャレンジからなるCreation Challengeデータセットを提案しています。このデータセットを使用して、LLMsのツール作成能力の価値と使用法を示し、ツール開発が知識の転送を促進し、LLMsがさまざまな問題文脈に効果的に適応できるようにするさまざまなツール製作の能力を持っていることを実験結果とケーススタディで示しています。

AWSの知的ドキュメント処理を生成AIで強化する

「データの分類、抽出、分析は、大量の文書を扱う組織にとって困難な課題です従来の文書処理ソリューションは手作業が必要であり、高価でエラーが発生しやすく、スケーラビリティにも難がありますAWSのインテリジェントドキュメントプロセッシング（IDP）は、Amazon TextractなどのAIサービスを活用することで、業界をリードする機械学習（ML）技術を迅速かつ効果的に活用できます」

2023年6月のVoAGIトップ投稿：GPT4Allは、あなたのドキュメント用のローカルチャットGPTであり、無料です！

GPT4Allは、ドキュメント用のローカルChatGPTであり、無料です！ • Falcon LLM：オープンソースLLMの新しい王者 • データサイエンスのチートシート用の10のChatGPTプラグイン • データサイエンス面接のチートシート用のChatGPT • データ分析を自動化するChatGPTプラグイン：Noteableプラグイン • 3...

NEWS

「LangchainとOpenAIを使用したGoogleドキュメントのためのチャットボット」

イントロダクションこの記事では、OpenAIとLangchainを使用してGoogleドキュメント用のチャットボットを作成します。では、なぜ最初にこれを行う必要があるのでしょうか？Googleドキュメントの内容をOpenAIにコピー＆ペーストするのは手間がかかります。OpenAIには文字トークンの制限があり、特定の情報しか追加できません。したがって、スケールで実行するか、プログラムで実行する場合は、ライブラリのヘルプが必要です。そこで、Langchainが登場します。LangchainをGoogleドライブとOpenAIと接続することで、製品ドキュメント、研究ドキュメント、または会社が使用している内部の知識ベースなど、ドキュメントを要約し関連する質問をすることでビジネスへの影響を創出することができます。学習目標 Langchainを使用してGoogleドキュメントのコンテンツを取得する方法を学ぶことができます。 GoogleドキュメントのコンテンツをOpenAI LLMと統合する方法を学ぶことができます。ドキュメントのコンテンツを要約し、関連する質問をする方法を学ぶことができます。ドキュメントに基づいて質問に答えるチャットボットを作成する方法を学ぶことができます。この記事は、Data Science Blogathonの一部として公開されました。ドキュメントの読み込み始める前に、Googleドライブにドキュメントを設定する必要があります。ここで重要なのは、Langchainが提供するドキュメントローダーであるGoogleDriveLoaderです。これを使用して、このクラスを初期化し、ドキュメントIDのリストを渡すことができます。 from langchain.document_loaders import GoogleDriveLoader import os loader = GoogleDriveLoader(document_ids=["あなたのドキュメントID"], credentials_path="credentials.jsonファイルへのパス") docs…

「LangChainとGPT-3を使用して、ドキュメント用の透明な質問応答ボットを構築しましょう」

「LangChainとGPT-3を使用して、ドキュメント用の透明な質問応答ボットを開発するためのガイドこのボットは回答の生成に使用された情報源を開示します」

「ドキュメントQ&AのためにローカルでCPU推論を実行するLlama 2」

サードパーティの商用大規模言語モデル（LLM）プロバイダー（例：OpenAIのGPT4）は、シンプルなAPI呼び出しを介してLLMの利用を民主化しましたしかし、チームはまだセルフマネージドまたはプライベートな展開が必要な場合もあります

ドキュメントAIの加速

企業は、デジタルワークフローではアクセスできない知識を含むドキュメントで溢れています。これらのドキュメントには、手紙、請求書、フォーム、レポート、領収書などさまざまなものがあります。テキスト、ビジョン、マルチモーダルAIの改善により、その情報を解放することが可能になりました。この投稿では、チームがオープンソースのモデルを使用してカスタムソリューションを無償で構築する方法を紹介します！ドキュメントAIには、イメージ分類、イメージからテキストへの変換、ドキュメントの質問応答、表の質問応答、ビジュアルの質問応答など、多くのデータサイエンスのタスクが含まれています。この投稿では、Document AI内のユースケースのタクソノミーとそれに対する最適なオープンソースモデルに焦点を当てています。次に、ライセンス、データの準備、モデリングについて説明します。この投稿では、Webデモ、ドキュメンテーション、モデルへのリンクがあります。ユースケースドキュメントAIソリューションを構築するための一般的なユースケースは少なくとも6つあります。これらのユースケースは、ドキュメントの入力と出力の種類が異なります。企業のドキュメントAIの問題を解決する際には、しばしばアプローチの組み合わせが必要です。 DiTを使用したドキュメントのレイアウト分析。ドキュメントのレイアウト分析では、一般的にオブジェクト検出モデルの評価によく使用されるmAP（平均適合率）メトリックが使用されます。レイアウト分析の重要なベンチマークはPubLayNetデータセットです。最新の状態のLayoutLMv3は、全体的なmAPスコアが0.951（ソース）を達成しています。次のステップ Document AIの可能性を見ていますか？私たちは日々、最先端のビジョンと言語モデルを使用して、企業と一緒に貴重なデータを解放するために取り組んでいます。この投稿では、さまざまなデモへのリンクを含めたので、それらを出発点として活用してください。投稿の最後のセクションには、ビジュアルの質問応答など、独自のモデルをコーディングし始めるためのリソースが含まれています。ソリューションの構築を開始する準備ができたら、Hugging Faceパブリックハブは素晴らしい出発点です。さまざまなDocument AIモデルがホストされています。 Document AIの取り組みを加速させたい場合、Hugging Faceがお手伝いします。エンタープライズアクセラレーションプログラムを通じて、AIのユースケースに関するガイダンスを提供するために企業と提携しています。Document AIの場合、事前学習モデルの構築、ファインチューニングタスクの精度向上、最初のDocument AIユースケースに取り組むための総合的なガイダンスなどを支援することができます。また、トレーニング（AutoTrain）や推論（SpacesまたはInference Endpoints）製品の大規模な使用に対して、計算クレジットのバンドルを提供することもできます。リソース多くのDocument AIモデルのノートブックとチュートリアルは以下で見つけることができます： NielsのTransformers-Tutorials PhilippのHugging…

Learn more about Search Results ドキュメント - Page 3