Search Results 報告書

SalesforceのAI研究者が、LLMを活用した自律エージェントの進化と革新的なBOLAA戦略を紹介します

最近の大規模言語モデル（LLM）の成果により、LLMを使用してさまざまな複雑なタスクを処理するための新しい研究が奨励されており、特にLLMを拡張した自律エージェント（LAA）には最も大きな注目が集まっています。 LAAは、LLMの知能を連続的なアクション実行に拡張することにより、設定と難解な問題の処理においてデータを収集することで優位性を示します。 BabyAGI1は、OpenAI LLM2を使用してタスクを生成し、優先順位付けし、実行するAIパワードのタスク管理システムを提案しています。 LLM APIの呼び出しを許可する人気のあるオープンソースのLAAフレームワークはAutoGPT3です。 ReActは、後続のアクションを生成する前に周囲と対話する最近提案されたLAA技術です。 LAAを作成するための現在のオープンソースのフレームワークはLangchain4と呼ばれます。オリジナルの調査のため、LAAは十分に調査されていません。最初に開始するために最適なエージェントアーキテクチャはまだ特定されていません。 LLMが次のアクションを生成するためにインコンテキスト学習を行うためには、ReActはすでに定義済みの例でエージェントを刺激します。さらに、ReActは、アクションを実行する前に中間思考に従事する必要があると主張します。 ReWOOは、LAAに追加の計画プロセスを導入します。 Langchainは、ゼロショットのツール使用能力を持つReActエージェントを一般化します。最適なエージェント設計は、タスクと対応するLLMバックボーンとの整合性を考慮していない先行研究であまり十分に考慮されていません。第二に、LAAにおける現在のLLMの効果の知識はまだ完了していません。初期の論文では、わずかなLLMバックボーンのパフォーマンスが比較されています。 ReActは、主要なLLMとしてPaLMを使用します。 ReWOOは、エージェントの計画と命令の調整にOpenAI text-DaVinci-003モデルを使用します。一般的なウェブエージェントのために、MIND2WebではFlan-T5とOpenAI GPT3.5/4を比較します。ただし、最近の研究では、異なる事前学習済みLLMを使用したLAAの効果の比較を徹底的に行っているわずかな論文しかありません。比較的最近の記事では、LLMをエージェントとして評価するためのベースラインを発表しています。ただし、エージェントアーキテクチャとそれらのLLMバックボーンを同時に考慮する必要があります。 LAAの研究は、効果と効率の観点から最適なLLMを選択することによって進化しています。第三に、活動がより複雑になるにつれて、多くのエージェントが調整を必要とする場合があります。最近、ReWOOは、推論を観察から分離することでLAAの効果を高めることを発見しました。この研究では、Salesforce Researchの研究者は、特にオープンドメインの状況において、タスクの複雑さが上がると複数のエージェントを調整して単一のジョブを実行することが好ましいと主張しています。たとえば、オンラインのナビゲーションの仕事では、クリックエージェントを使用してクリック可能なボタンと対話し、他のリソースを見つけるために検索エージェントに依頼するかもしれません。ただし、オーケストレーションの効果を検証し、多くの個人を調整する方法を探索する論文はほとんどありません。この報告書では、これらの研究のギャップを埋めるために、LAAのパフォーマンス比較を包括的に分析することを提案しています。彼らは、LLMバックボーンとLAAエージェントアーキテクチャにさらに深く踏み込みます。彼らは、既存の設定からエージェントのベンチマークを作成し、さまざまなLLMバックボーンに基づいたさまざまなエージェントアーキテクチャの機能を評価します。彼らのエージェントベンチマークのタスクは、複数のタスクの複雑さレベルに関連しているため、タスクの複雑さに応じたエージェントのパフォーマンスを評価することが可能です。これらのエージェントアーキテクチャは、現在の設計の決定を徹底的に検証するために作成されています。複数の労働LAAの選択とコミュニケーションを可能にするために、彼らはBOLAA5というユニークなLAAアーキテクチャを提示しています。これには、数多くの協力エージェントの上にコントローラーモジュールが備わっています。この論文の貢献は以下の通りです： • 6つの異なるLAAエージェントアーキテクチャが開発されました。プロンプト、自己思考、および計画から派生したLAAの設計の直感をサポートするために、これらをいくつかのバックボーンLLMと統合しました。また、アクションとの関与能力を向上させるために、多数の孤立したエージェントの能力を向上させるためのマルチエージェント戦略オーケストレーションのためのBOLAAを作成しました。 •…

データセンターは、電力管理ソフトウェアの欠陥により危険にさらされています

Trellixのサイバーセキュリティ研究者は、データセンターでよく使用されるアプリケーションに脆弱性を特定しましたこれにより、ハッカーが特定のサーバーにアクセスして電源を切ることが可能になるかもしれません

「シフトのCEOであるクリス・ナーゲル – インタビューシリーズ」

クリスはSiftの最高経営責任者です彼は、Ping Identityを含むベンチャー支援および公開SaaS企業のシニアリーダーシップポジションで30年以上の経験を持っていますSiftは、単一の直感的なコンソールで構築された企業向けの支払い詐欺を終わらせる方法を提供していますSiftのエンドツーエンドソリューションにより、分離されたツールや単一の目的の必要性がなくなります

「文書理解の進展」

Google Research、Athenaチームのソフトウェアエンジニア、サンディープ・タタ氏による投稿過去数年間で、複雑なビジネスドキュメントを自動的に処理し、それらを構造化されたオブジェクトに変換するシステムの進歩が急速に進んでいます。領収書、保険見積もり、財務報告書などのドキュメントからデータを自動的に抽出するシステムは、エラーが多く手作業が必要な作業を回避することで、ビジネスワークフローの効率を劇的に向上させる潜在能力を持っています。Transformerアーキテクチャに基づいた最近のモデルは、驚異的な精度の向上を示しています。PaLM 2などのより大規模なモデルは、これらのビジネスワークフローをさらに効率化するために活用されています。しかし、学術文献で使用されるデータセットは、現実のユースケースで見られる課題を捉えることができていません。その結果、学術ベンチマークはモデルの精度を高く報告していますが、同じモデルを複雑な現実世界のアプリケーションに使用すると、精度が低下します。 KDD 2023で発表された「VRDU: A Benchmark for Visually-rich Document Understanding」では、このギャップを埋め、研究者がドキュメント理解タスクの進捗状況をより正確に追跡できるようにするため、新しいVisually Rich Document Understanding（VRDU）データセットの公開を発表しています。私たちは、ドキュメント理解モデルが頻繁に使用される実世界のドキュメントの種類に基づいて、良いドキュメント理解ベンチマークのための5つの要件をリストアップしています。そして、現在研究コミュニティで使用されているほとんどのデータセットがこれらの要件のいずれかを満たしていないことを説明し、一方でVRDUはこれらの要件をすべて満たしていることを説明しています。私たちは、VRDUデータセットと評価コードをクリエイティブ・コモンズ・ライセンスの下で公開することを発表できることを喜んでいます。ベンチマークの要件まず、実世界のユースケースでの最先端のモデルの精度（例：FormNetやLayoutLMv2との比較）を学術ベンチマーク（例：FUNSD、CORD、SROIE）と比較しました。その結果、最先端のモデルは学術ベンチマークの結果とは一致せず、実世界でははるかに低い精度を提供しました。次に、ドキュメント理解モデルが頻繁に使用される典型的なデータセットを学術ベンチマークと比較し、実世界のアプリケーションの複雑さをより良く捉えるための5つのデータセットの要件を特定しました：リッチスキーマ：実際の実務では、構造化抽出のためのさまざまな豊富なスキーマが存在します。エンティティには異なるデータ型（数値、文字列、日付など）があり、単一のドキュメント内で必須、オプション、または繰り返しの場合もあり、さらにネストする場合もあります。ヘッダ、質問、回答などの単純なフラットなスキーマの抽出タスクでは、実務でよく遭遇する問題を反映していません。レイアウト豊かなドキュメント：ドキュメントには複雑なレイアウト要素が含まれている必要があります。実践的な設定での課題は、ドキュメントにテーブル、キーと値のペア、単一列と二列のレイアウトの切り替え、異なるセクションのフォントサイズの変化、キャプション付きの画像や脚注などが含まれることです。これに対して、ほとんどのドキュメントが文、段落、セクションヘッダを持つ文章で構成されているデータセットとは対照的です。これは、長い入力に関する古典的な自然言語処理文献の焦点となるようなドキュメントの種類です。異なるテンプレート：ベンチマークには異なる構造のレイアウトやテンプレートが含まれるべきです。特定のテンプレートから抽出することは、高容量モデルにとっては容易ですが、実際の実務では新しいテンプレート/レイアウトにも対応できる汎化能力が必要です。ベンチマークのトレーニングとテストの分割によって測定される能力です。高品質なOCR：ドキュメントは高品質な光学文字認識(OCR)の結果を持っている必要があります。このベンチマークでは、VRDUタスク自体に焦点を当て、OCRエンジンの選択によってもたらされる変動性を除外することを目指しています。トークンレベルの注釈：ドキュメントには、対応する入力テキストの一部としてマッピングできる正解の注釈が含まれている必要があります。これにより、各トークンを対応するエンティティの一部として注釈付けすることができます。これは、単にエンティティから抽出するための値のテキストを提供するだけではありません。これは、与えられた値に偶発的な一致があることを心配する必要がないクリーンなトレーニングデータの生成に重要です。たとえば、一部の領収書では、「税抜き合計」フィールドが「合計」フィールドと同じ値を持つ場合があります。トークンレベルの注釈があれば、両方の一致する値が「合計」フィールドの正解としてマークされたトレーニングデータを生成することを防ぐことができ、ノイズのない例を生成できます。 VRDUのデータセットとタスク VRDUデータセットは、登録フォームと広告購入フォームの2つの公開データセットを組み合わせたものです。これらのデータセットは、実世界の使用例を代表する例を提供し、上記の5つのベンチマーク要件を満たしています。…