Learn more about Search Results エージェント - Page 3

人工知能（AI）エージェント進化のフロンティア

AIエージェントアーキテクチャの微妙な行動をナビゲートすることにより、従来のソフトウェアアプリケーションとは異なる自己進化エンティティが浮かび上がってきます。従来のソフトウェアは予め定められた機能に拘束され続けますが、GPT-4などの大規模言語モデル（LLM）に基づくAIエージェントは、自律的な意思決定、適応的な学習、統合システム運用において動的な能力を示します。ただし、当社の詳細な分析によれば、AIエージェントエコシステムはまだ初期段階にあり、倫理的考慮事項や総合的なコンポーネントの統合において顕著な課題が存在しています。GitHubなどのプラットフォームにカタログ化されている主要エージェントは、この変革期の先頭を切っていますが、彼らも業界全体の課題と機会を強調しています。本記事では、AIエージェントの構成の微妙な側面に深く踏み込み、従来のソフトウェアの設計図との対比を行い、現在のAIエージェントの開発的な景色を包括的に紹介します。これからのテクノロジーの未来を見据えるビジョナリーにとって必読の一文です。 AIエージェントの主要なコンポーネント 自律的なAIエージェントは、目標の達成のために独立して知覚、推論、学習、行動する自己統治型のエンティティであり、AIと機械学習の進歩によって可能にされています。 脳（知識核）： 自然言語処理と理解のための大規模言語モデル（LLM）。パターン認識、意思決定、問題解決のための高度な機械学習アルゴリズム。 メモリ（情報の保存）： 構造化データのためのデータベース（SQLデータベースなど）。タスクのコンテキストとエージェントライフサイクル管理のためのPineconeなどのベクトルデータベースシステム。クイックアクセスと処理のためのローカルコンピュータメモリ。 感覚（入力インターフェース）： テキスト解析モジュール：テキストファイルを読み取り、解釈します。 画像処理モジュール：画像を分析し、解釈します。音声処理モジュール：音声信号を理解し、生成します。ビデオ処理モジュール：ビデオコンテンツを分析します。 目標（主要な目的）： エージェントの行動と意思決定を導く事前定義された主要目標。具体的な目標（例：「エネルギー消費を最適化する」）またはより一般的な目標（例：「ユーザーを効率的にサポートする」）。 自律的な運用： 自己維持アルゴリズムにより、AIは定常的な人間の介入なしに自律的に運用、学習、適応します。AIが事前に定義された範囲と倫理的なガイドライン内に留まるための自己調整メカニズム。 コミュニケーションインターフェース： 人間とAIの相互作用のための自然言語理解（NLU）および生成（NLG）モジュール。他のソフトウェアやシステムとの通信のためのAPIの統合。 倫理的および安全なプロトコル： AIが倫理的な範囲内で動作することを保証するメカニズム。AIが予測不可能なふるまいを示した場合の「キルスイッチ」や緊急停止メカニズム。 学習および適応メカニズム： フィードバックに基づいて時間の経過とともにAIが適応し改善できるようにする強化学習モジュール。知識ベースを更新するための連続的な学習アルゴリズム。 意思決定フレームワーク： データ、目標、制約に基づいてAIが意思決定を行うためのアルゴリズム。 リソース管理： 計算リソースを効率的に管理し、過剰なエネルギー消費を抑えながら最適なパフォーマンスを保証するシステム。…

「Meta AIは、社会的な具現化されたAIエージェントの開発における3つの主要な進展、Habitat 3.0、Habitat Synthetic Scenes Dataset、およびHomeRobotを紹介します」

Facebook AI Research (FAIR)は、社会的にインテリジェントなロボットの分野を推進することに専念しています。主な目標は、日常のタスクを支援することができるロボットを開発し、人間のパートナーの独自の好みに適応することです。この業務には、次世代のARおよびVR体験の基盤を築くために、組み込みシステムに深く潜る作業が含まれています。目標は、ロボット工学を私たちの生活の一部に組み込むことであり、日常の煩わしい仕事の負担を軽減し、個人の生活の質を向上させることです。FAIRの多面的なアプローチは、AI、AR、VR、ロボット工学を融合させ、テクノロジーが私たちの日常の経験をシームレスに補完し、私たちを以前に想像もしなかった方法で権限を与える未来を創造することの重要性を強調しています。 FAIRは、物理的な環境でAIエージェントのトレーニングとテストにおける拡張性と安全性の課題に対処するために、3つの重要な進展を達成しました： Habitat 3.0は、ロボットとアバターのための高品質なシミュレータであり、家庭のような環境での人間とロボットの協力を容易にします。 ハビタット・シンセティック・シーン・データセット（HSSD-200）は、アーティストによって設計された3Dデータセットであり、ナビゲーションエージェントの訓練時に優れた一般化を提供します。 HomeRobotプラットフォームは、シミュレートされたおよび現実世界の環境でのオープンボキャブラリータスク用の手頃な価格のホームロボットアシスタントを提供し、人間が支援できるAIエージェントの開発を加速します。 Habitat 3.0は、物理的なロボットに展開する前に、仮想環境でアルゴリズムの迅速かつ安全なテストを可能にするシミュレータです。日常のタスクを実行する際に、人間とロボットの共同作業を可能にし、多様な家庭のような環境でのAIトレーニングを可能にするために、リアルな人間のアバターを含んでいます。Habitat 3.0は、クリーニングやナビゲーションなどの実際の屋内シナリオでの共同ロボット-人間の動作を促進するベンチマークタスクを提供し、社会的に具現化されたAIの新たな探求の方法を提示しています。 HSSD-200は、シミュレートされた環境でロボットの訓練により現実的でコンパクトなオプションを提供する合成的な3Dシーンデータセットです。これには、物理的な内部を複製した高品質な3Dセットが211個含まれており、466の意味カテゴリから18,656個のモデルが含まれています。スケールは小さくなりますが、HSSD-200シーンで訓練されたObjectGoalナビゲーションエージェントは、以前のデータセットの10,000シーンで導入されたエージェントと比較可能な性能を発揮します。場合によっては、122のHSSD-200シーンでの訓練のほうが、物理世界のシナリオへの一般化において、以前のデータセットの10,000シーンで訓練されたエージェントを上回る効率を示しています。 ロボット工学研究の分野では、共有プラットフォームが重要です。HomeRobotは、やる気を持ったタスクの定義、多目的のソフトウェアインターフェースの提供、そしてコミュニティの関与を目指して、このニーズに対応しようとしています。開放度の高いモバイルマニピュレーションが動機付けのタスクとして機能し、多様な環境でオブジェクトを操作するようにロボットに挑戦します。HomeRobotライブラリは、Hello RobotのStretchとBoston DynamicsのSpotの両方をシミュレートおよび現実世界の設定でナビゲーションと操作をサポートし、実験の複製を促進します。このプラットフォームは、移転性、モジュール性、およびベースラインエージェントを重視し、物理世界のテストで20％の成功率を示すベンチマークを提供しています。 具現化されたAI研究の分野は、人間とロボットの相互作用を含む動的な環境に対応するために常に進化しています。Facebook AIのソーシャルリーインテリジェントなロボットを開発するビジョンは、静的なシナリオに限定されません。その代わりに、彼らの焦点は協力、コミュニケーション、および動的な設定で将来の状態を予測することにあります。この目標を達成するために、研究者はHabitat 3.0およびHSSD-200をシミュレーションでAIモデルのトレーニングに使用しています。彼らの目的は、これらの訓練されたモデルを物理世界に展開し、その実世界でのパフォーマンスと能力を評価することです。

ワシントン大学とNVIDIAからの研究者が提案するヒューマノイドエージェント：生成エージェントの人間のようなシミュレーションのための人工知能プラットフォーム

人間のような生成エージェントは、自然で魅力的なユーザーインタラクションを提供するために、チャットボットや仮想アシスタントでよく使用されます。これらのエージェントはユーザーのクエリを理解し、応答することができ、会話に参加し、質問に答えたり、推奨をしたりするなどのタスクを実行することができます。これらのエージェントは、自然言語処理（NLP）の技術やGPT-3などの機械学習モデルを使用して、矛盾のない文脈に沿った応答を生成します。彼らはインタラクティブな物語、対話、およびキャラクターをビデオゲームや仮想世界で作成し、ゲーム体験を向上させることができます。 人間のような生成エージェントは、ライターやクリエイターがアイデアを出し、ストーリープロットを作成したり、詩や音楽を作曲したりするのを支援することができます。しかし、このプロセスは人間の思考とは異なります。人間は物理的な環境の変化に応じて計画を常に適応させる傾向があります。ワシントン大学と香港大学の研究者は、異なる要素を導入することで、生成エージェントが人間のように行動するように誘導するヒューマノイドエージェントを提案しています。 人間の心理学に触発されて、研究者は直感的で無理のない思考プロセスを扱うためのシステム1と、論理的な思考プロセスを扱うためのシステム2の2つのメカニズムを提案しました。これらのエージェントの行動を影響するために、基本的なニーズ、感情、および他のエージェントとの社会的関係の親密さなどの要素を導入しました。 設計されたエージェントは他の人と対話する必要があり、失敗した場合には孤独、病気、疲労などのネガティブなフィードバックを受け取ります。 社会的な脳仮説は、我々の認知能力の大部分が社会的関係の品質を追跡するために進化したと提唱しています。人々は変化に適応するために他の人々と頻繁に対話します。この行動を模倣するために、彼らはヒューマノイドエージェントにお互いの関係がどれだけ親しいかに基づいて会話を調整する力を与えました。彼らのエージェントはUnity WebGLゲームインターフェースを使用して彼ら自身を可視化し、インタラクティブな分析ダッシュボードを使用して時間の経過に伴う刺激されたエージェントの状態を示します。 彼らはUnity WebGLゲームエンジンを使用してヒューマノイドエージェントを可視化するためのサンドボックスHTMLゲーム環境を作成しました。ユーザーは3つの異なる世界のいずれかを選択して、各ステップでエージェントの状態と位置を表示することができます。彼らのゲームインターフェースは、シミュレートされた世界からのJSON構造化ファイルを取り込み、アニメーションに変換します。彼らは様々なヒューマノイドエージェントの状態を時間の経過にわたって可視化するためにPlotly Dashを開発しました。 彼らのシステムは現在、2つのエージェント間の対話のみをサポートしており、マルチパーティの対話を支援することを目指しています。エージェントは実世界の人間の行動を完全に反映していないシミュレーションで作業しているため、ユーザーにはシミュレーションで作業していることを通知する必要があります。その能力にもかかわらず、人間のような生成エージェントを使用する際には倫理的な問題やプライバシーの懸念を考慮することが重要です。情報の拡散、トレーニングデータに偏りがあること、責任ある使用と監視の可能性などです。

「Googleとトロント大学の研究者が、ライブコンピュータ環境での自律学習とタスク実行のための画期的なゼロショットエージェントを紹介」

“`html 大規模言語モデル（LLM）は、ALFWORLDやALPHACODEなどのさまざまな現場でのアクション製作において、以前の試みで有望な結果を示しています。SAYCAN、REACT、TOOLFORMER、SWIFTSAGEなどの例があります。LLMは、専門家のトレイルを追い、環境の変化を理解し、将来の活動を計画・実施し、APIリクエストを作成するために同様に使用されます。REFLEXIONやSELF-REFINEを含むいくつかの研究は、自己反省の多数のラウンドを繰り返し実行することがタスクの完了を大幅に高めることを示しています。LLMには、環境のフィードバックに基づいて前の実行計画を変更するよう求められます。そのような調整は、次のラウンドのアクションジェネレータのプロンプトに組み込まれます。 最近、MINIWOB ++は、モジュラ化されたコンピューティングワークロードでLLMのパフォーマンスを評価するためのテストベッドとして活用されています。タスクの包括的なトレース例（WebGUM）を使用した直接監督、自己監督、または少数/多数のプロンプティング（SYNAPSE）は、タスクを学習するための標準的な方法です。彼らは、タスク完了率が90％以上である場合の数十のコンピュータジョブを完了し、コンピュータ制御の問題を解決しているようです。ただし、エキスパートトレースの必要性は、エージェントの新しいジョブを学習する能力を制約しています。適切に選択されたトレースをガイドとして使用せずに、エージェントはコンピュータの制御について独立に知識を持ち、それを向上させることができるでしょうか？Google Researchとトロント大学の研究者は、この疑問に答えるために、ゼロショットエージェントを提案しています。 彼らのエージェントは、最新のLLMであるPaLM2の上に構築されており、タスク固有のプロンプトではなく、すべてのアクティビティに対して単一のセットの指示プロンプトを使用しています。また、現代の取り組みであるRCI、ADAPLANNER、SYNAPSEなどは、ユーザーの画面に表示されるデータよりもはるかに多くのデータを含むスクリーン表現を使用する場合があります。たとえば、図1では、LLMに提供されるが画面上に表示されないHTMLに含まれるアイテムが示されています。この新たな知識を任意に使用することで、エージェントのタスク完了能力は向上します。しかし、通常の使用シナリオでは、そのような情報に簡単にアクセスできない場合があり、それに依存することでエージェントの適用範囲が制限される可能性があります。 図1は、画面上の異なる表示を示しています。図1a-1cは、「もっと見る」ボタンを押す前後のソーシャルメディアのタスクを示しています（seed=2）。クリックする前に、HTMLで既にマテリアルが表示されています。図1d-1e：クリックタブ2（seed=0）も同様の問題を抱えています。 MINIWOB ++で評価されるように意図された多数のスクリーンにまたがるかなり難しいジョブ13件が注意深く評価され、そのうち5件には単一の観察で含まれるHTMLがそのような情報を含んでいました。彼らが行った貢献は次のとおりです：まず、以前の研究と比較して、より簡潔な画面描写を採用し、テスト環境をより包括的で現実的なものにします。次に、状態上で実行可能な操作を正確に計画するための簡単で効果的なアクションプランナーを提供します。彼らは、このような「素朴な」アプローチが、最新のLLMの能力を使用して、MINIWOB ++ベンチマークのほとんどの単純なタスクを完了できることを示しています。 エージェントが探索的な失敗から成功裡に学び、より難しいタスクに進むために彼らはReflexionから影響を受けた体系的な思考管理技術を提案しています。彼らのエージェントは、数ラウンドの試行の後、以前の少数/多数ショットの最新技術と同等のパフォーマンスを達成します。彼らのエージェントは、研究によると、コンピュータ制御タスクのためのゼロショットデザインとしては彼らが知る限り初めてのものです。 “`

このAI研究では、「RAFA」という、証明可能なサンプル効率を持つ独立型LLMエージェントのための原則的な人工知能フレームワークを紹介します

LLMの推論能力は優れていますが、それらの能力を実践的な状況で適用するためには改善が必要です。特に、外部の世界との最小限のインタラクション（たとえば内部の推論方法により）で課題を確実に達成する方法は未解決の問題です。 Northwestern University、清華大学、香港中文大学の共同研究によると、推論と行動を調整するために、「将来のための理由、今のための行動」（RAFA）と呼ばれる道徳的なフレームワークが提案されました。このフレームワークは、検証可能な後悔保証を提供します。具体的には、長期的な軌跡プランナー（「将来のための理由」）を作成し、推論のためのメモリバッファのプロンプトから学習します。 ベイジアン適応型MDPパラダイムにおいて、LLMとの推論と行動について形式的に説明されています。各ステージでは、LLMエージェントは計画された軌跡の最初のアクション（「今のための行動」）を実行し、収集されたフィードバックをメモリバッファに保存し、現在の状態に基づいて将来の軌跡を再計画するために再び推論ルーチンを呼び出します。 ベイジアン適応型マルコフ決定過程（MDP）における学習と計画は、推論をLLMにおいてMDPとして表現するために使用されます。同様に、LLMに対してメモリバッファを参照して未知の環境についてより正確な事後分布を学習し、ある価値関数を最大化する一連のアクションを設計するように指示します。外部環境の状態が変化すると、LLMエージェントは再び推論ルーチンを呼び出して新しい行動計画を立てます。学習と計画の一貫性を保つために、研究者はより新しい履歴データを使用するかどうかを判断するために切り替え条件を使用します。 RAFAのパフォーマンスを評価するために、Game of 24、ALFWorld、BlocksWorld、Tic-Tac-Toeなどのテキストベースのベンチマークがあります。RAFAは、言語モデルを使用してRL/PLのタスクを実行するAIシステムです。主なポイントは以下の通りです。 ゲーム24では、RAFAは4つの異なる自然数を足し引きして24を得る方法を決定します。アルゴリズムは最新の式を追跡し、この目標に到達するための次の手順を生成します。サンプル効率性に関して、RAFAは非常に優れたパフォーマンスを発揮します。 ALFWorldは、使用者が具現化されたエージェントを使用して家事のシミュレーションを実行できる仮想世界です。RAFAは、AdaPlanner、ReAct、Reflexionなどの競合フレームワークよりも優れた結果を達成します。 BlocksWorldでは、プレイヤーはブロックを使用して構造物を作ることが求められます。Vicuna、RAP、CoTなどの他のモデルと比較して、RAFAの成功率はかなり高いです。 RAFAはTic-Tac-Toeのゲームで「O」として働き、言語モデルが「X」として働きます。 「O」のペナルティは、RAFAが一部の設定で言語モデルと競い合い、時にはそれを上回ることを防ぎません。研究者は、異なる計画の深さ（B = 3またはB = 4）を選択することでサンプル効率性を改善または低下させる可能性があると考えています。 結論として、RAFAはさまざまな状況やタスクで優れた柔軟なアルゴリズムであり、驚異的なサンプル効率性を示し、他の既存のフレームワークをしばしば上回ります。

『BOSSと出会ってください：新しい環境で新しい課題を解決するためにエージェントをトレーニングする強化学習（RL）フレームワーク、LLMガイダンス』

BOSS（Bootstrapping your own SkillS）をご紹介します。これは、大規模な言語モデルを活用して多様なスキルライブラリを自律的に構築し、複雑なタスクを最小限のガイダンスで解決する画期的な手法です。従来の非教示スキル習得技術や単純なブートストラップ手法と比較して、BOSSは未知の環境での見慣れないタスクの実行において優れた性能を発揮します。このイノベーションは自律的なスキル習得と応用における重要な進歩を示しています。 強化学習は、マルコフ決定過程において期待値の最大化を目指すためのポリシーの最適化を目指します。従来の研究では複雑なタスクのために事前学習された再利用可能なスキルが強化学習でパラメータ化されました。非教示強化学習は、好奇心、制御可能性、多様性を重視し、人間の介入なしにスキルを学習しました。言語はスキルのパラメータ化とオープンループの計画に使用されました。BOSSは大規模な言語モデルと共にスキルレパートリーを拡張し、探索をガイドし、スキルチェーンの完遂を報酬として与えることにより、長期的なタスクの実行においてより高い成功率を実現します。 従来のロボット学習は、監督が非常に重要ですが、人間は独自に複雑なタスクを学習することに優れています。研究者はBOSSをフレームワークとして導入し、最小限の人間介入で多様な長期的なスキルを自律的に習得するために使用しました。スキルのブートストラップによってガイドされ、大規模な言語モデル（LLM）の支援を受けて、BOSSは複雑なタスクを処理するためのスキルを進行的に構築し組み合わせます。非教示的な環境の相互作用により、新しい環境での困難なタスクの解決におけるポリシーの堅牢性が向上します。 BOSSは2つのフェーズからなるフレームワークを導入しています。第1フェーズでは、非教示強化学習の目標を使用して基礎的なスキルセットを習得します。第2フェーズでは、スキルチェーンのガイドとスキルの完了に基づく報酬によってスキルのブートストラップが行われます。このアプローチにより、エージェントは基本的なスキルから複雑な行動を構築することができます。家庭環境での実験では、LLMによるガイド付きブートストラッピングが、単純なブートストラッピングや従来の非教示的な方法よりも、新しい設定での見慣れない長期的なタスクの実行において優れた性能を発揮することが示されています。 実験の結果は、LLMによるガイド付きのBOSSは、新しい設定での拡張された家庭のタスクの解決において優れた性能を発揮し、従来のLLMベースの計画と非教示的な探索方法を上回ります。結果は、ALFRED評価におけるタスクの長さの異なるオラクル正規化されたリターンとオラクル正規化された成功率の四分位平均と標準偏差を示しています。LLMによるガイド付きのBOSSによるブートストラップトレーニングされたエージェントは、単純なブートストラッピングや以前の非教示的な方法を上回ります。BOSSは、基本的なスキルから多様な複雑な行動を自律的に習得することができ、エキスパートでないロボットのスキル習得の可能性を示しています。 LLMによってガイドされたBOSSフレームワークは、エキスパートのガイダンスなしで複雑なタスクを自律的に解決することに優れています。新しい環境で見慣れない機能を実行する際には、LLMによるガイド付きのブートストラッピングトレーニングされたエージェントが、単純なブートストラッピングや以前の非教示的な方法を上回ります。現実的な家庭での実験により、BOSSは基本的なスキルから多様な複雑な行動を習得する能力を示し、自律型ロボットスキル習得の可能性を強調しています。BOSSはまた、強化学習と自然言語理解を結びつける新たな可能性を示しており、ガイド付き学習のために事前学習された言語モデルを利用しています。 今後の研究の方向性には以下のものが含まれます： 自律スキル学習のためのリセットフリー強化学習の調査。 BOSSのスキルチェーンアプローチによる長期的なタスクの分解の提案。 低レベルなスキル習得のための非教示強化学習の拡張。 強化学習と自然言語理解の統合をBOSSフレームワークでさらに強化することも有望なアプローチです。BOSSをさまざまなドメインに適用し、さまざまな環境やタスクコンテキストでのパフォーマンスを評価することにより、さらなる探求の可能性を提供します。

「LLMベースの自律エージェントの成長」の背後には、

「LLMベースの自律エージェントの成長に関する調査に入りましょう」

スタンフォード、NVIDIA、およびUT Austinの研究者は、クロスエピソードカリキュラム（CEC）と呼ばれる新しい人工知能アルゴリズムを提案しましたこれにより、トランスフォーマーエージェントの学習効率と汎化能力が向上します

シーケンシャルな意思決定の問題は、ファウンドメーションモデルの導入によるパラダイムの転換により、大きな変革を遂げています。トランスフォーマーモデルなどのこれらのモデルは、計画、制御、および事前学習された視覚表現など、さまざまな領域を完全に変えてきました。しかし、これらのデータハングリーなアルゴリズムをデータが少ないロボティクスのような領域に適用することは非常に困難です。データの量が制限された状況で、ソースや品質に関係なく、より効果的な学習をサポートするために、アクセス可能なデータを最大限に活用することが可能かどうかという疑問が生じます。 これらの課題に対応するために、研究者グループが最近開発した独特のアルゴリズム、Cross-Episodic Curriculum（CEC）があります。CECテクニックは、カリキュラムに異なる経験が異なる分布で配列される際の方法を活用します。CECの目標は、トランスフォーマーモデルの学習と汎化効率を向上させることです。CECの基本的なコンセプトは、トランスフォーマーモデルにクロスエピソードの経験を組み込んでカリキュラムを作成することです。このカリキュラムでは、オンライン学習トライアルとミックスクオリティのデモが段階的に配置され、学習曲線とエピソード間でのスキル向上が捉えられます。CECは、トランスフォーマーモデルの強力なパターン認識能力を活用して、クロスエピソードの注意機構を作り出します。 チームは、CECの有効性を示すために2つのシナリオを提供しています。 DeepMind Labのディスクリートコントロールを伴うマルチタスク強化学習：このシナリオでは、CECを使用してディスクリートコントロールのマルチタスク強化学習の課題を解決します。CECによって開発されたカリキュラムは、個々の状況と徐々に複雑になる文脈の学習経路を捉えます。これにより、エージェントは学習と適応を小さなステップで進めることで、徐々により難しいタスクをマスターすることができます。 RoboMimic、連続制御のためのミックスクオリティデータを使用した模倣学習 – RoboMimicに関連する第2のシナリオでは、連続制御とミックスクオリティデータを使用した模倣学習が行われます。CECが作成したカリキュラムの目標は、デモンストレーターのレベルの向上を記録することです。 CECによって生成されたポリシーは、どちらのシナリオでも優れたパフォーマンスと強力な一般化能力を示しており、これにより、CECはトランスフォーマーエージェントの適応性と学習効率をさまざまな文脈で向上させるための有効な戦略であることが示唆されています。Cross-Episodic Curriculum法には、次の2つの重要なステップが含まれています。 カリキュラムデータの準備：カリキュラムデータの準備はCECプロセスの初めのステップです。特定の順序と構造でイベントを配置することを意味します。これらのイベントは、カリキュラムのパターンを明確に示すために特定の順序で配置されます。これらのパターンは、単一環境でのポリシー改善、徐々に困難な環境での学習の進展、デモンストレーターの専門知識の向上など、さまざまな形で表現されます。 クロスエピソード注意モデルの訓練：これはモデルの訓練の2番目の重要な段階です。この訓練段階では、モデルはアクションを予測するために訓練されます。この方法の特徴的な点は、モデルが現在のエピソードに加えて以前のエピソードを参照することができることです。これにより、カリキュラムデータで注目された改善とポリシーの調整を内面化することができます。過去の経験を利用するため、学習はより効率的に行われることがあります。 通常、因果トランスフォーマーモデルを示すために、これらの段階を視覚的に示すために色付きの三角形が使用されます。これらのモデルはCECメソッドにとって重要であり、学習プロセスにクロスエピソードのイベントを取り入れるのを容易にします。推奨されたアクションは、「a ^」で示され、意思決定に重要な役割を果たします。

マイクロソフト エージェントAIがIdea2Imgを導入：自己金融による多モーダルAIフレームワークで、画像の開発とデザインを自動化します

“画像の設計と生成”の目的は、ユーザーからの広範な概念に基づいて画像を生成することです。この入力のアイデアには、”イメージと同じように見える犬”などの参照イメージや、”Idea2Imgシステムのためのロゴ”など、デザインの意図された応用をさらに定義する指示が含まれる場合があります。人間はテキストから画像へ（T2I）のモデルを利用して、想像された画像（アイデア）の詳細な説明に基づいて画像を作成することができます。ユーザーは、問題（T2Iプロンプト）を最もよく説明するものを見つけるまで、いくつかのオプションを手動で探索する必要があります。 大規模なマルチモーダルモデル（LMM）の印象的な能力を考慮すると、研究者はLMMに基づいたシステムをトレーニングして、概念を視覚的なものに変換する手間を省く能力を獲得できるかどうかを調査します。未知の領域に進出したり、困難なタスクに取り組んだりする際、人間は継続的に手法を改善する傾向があります。頭字語生成、感情の抽出、テキストベースの環境探索などの自然言語処理のタスクは、大規模言語モデル（LLM）エージェントシステムによる自己改善のサポートでより効果的に対処することができます。テキストのみの活動からマルチモーダルな設定に移ると、多くの交互に配置された画像とテキストのシーケンスなど、マルチモーダルコンテンツの向上、評価、検証に関する課題が生じます。 自己探索により、LMMフレームワークはグラフィカルユーザーインターフェース（GUI）を使用してデジタルデバイスと対話したり、具象エージェントを使用して未知の領域を探索したり、デジタルゲームをプレイしたりするための広範な現実世界の課題に対応することを自動的に学習します。Microsoft Azureの研究者は、「画像の設計と生成」を調査するために、反復自己改善能力を持つマルチモーダル能力を研究します。この目的のために、彼らは画像の開発と設計のための自己円滑化マルチモーダルフレームワークであるIdea2Imgを提案します。LMMであるGPT-4V（ビジョン）は、Idea2ImgのT2Iモデルとインタラクトし、モデルのアプリケーションを調査し、有用なT2Iの手がかりを特定します。T2Iモデルのリターンシグナル（つまり、草案画像）の分析や、次のラウンドの問い合わせ（つまり、テキストのT2Iプロンプトの作成）は、LMMによって処理されます。 T2Iプロンプトの生成、ドラフト画像の選択、フィードバックの反映は、マルチモーダルな反復自己改善能力に貢献します。具体的には、GPT-4Vは以下の手順を実行します： 1. プロンプトの生成：GPT-4Vは、前のテキストのフィードバックと改善履歴に基づいて、入力のマルチモーダルユーザーアイデアに対応するN個のテキストプロンプトを生成します。 2. ドラフト画像の選択：GPT-4Vは、同じアイデアに対するN個のドラフト画像を注意深く比較し、最も有望なものを選択します。 3. フィードバックの反映：GPT-4Vは、草案画像とアイデアの間の不一致を分析します。その後、GPT-4Vは、何がうまくいかなかったのか、なぜそれがうまくいかなかったのか、およびT2Iプロンプトを改善する方法についてのフィードバックを提供します。 さらに、Idea2Imgには、各プロンプトの種類（画像、テキスト、フィードバック）ごとの探索履歴を記録する組み込みのメモリモジュールがあります。画像の自動作成と生成のために、Idea2Imgフレームワークはこれらの3つのGPT-4Vベースのプロセスの間で繰り返しサイクルを行います。改良された画像のデザインと作成支援ツールであるIdea2Imgは、ユーザーにとって有用なツールです。綿密な画像の説明ではなく、デザインの指示を受け入れ、マルチモーダルなアイデア入力に対応し、より高い意味的および視覚的品質の画像を生成することで、Idea2ImgはT2Iモデルと異なります。 チームは画像の作成とデザインのサンプルケースをいくつかレビューしました。例えば、Idea2Imgは任意の交互配置された画像とテキストのシーケンスを有するアイデアを処理し、視覚デザインと意図された使用法の説明をアイデアに取り込み、入力画像から任意の視覚情報を抽出することができます。これらの更新された機能とユースケースに基づいて、彼らは104個のサンプル評価アイデアセットを作成しました。この評価アイデアセットには、人間が最初に間違える可能性のある複雑な質問が含まれています。チームはIdea2ImgとさまざまなT2Iモデルを使用してユーザーの好みの調査を実施しています。SDXLを使用した場合など、多くの画像生成モデルにおけるユーザーの好みのスコアの改善は、Idea2Imgの有効性を示しています。

このAI論文は、言語エージェントのための自然言語とコードの調和を目指して、LemurとLemur Chatを紹介しています

広義では、知的エージェントとは、周囲から収集したデータに基づいて知覚、判断、行動の能力を備えた自律問題解決者です。この考え方を応用した最近の研究では、自然言語を使用してさまざまな文脈で複雑なタスクを実行できる言語エージェントの開発に有望な成果が出ています。特に、これらのエージェントが大規模な言語モデル（LLM）を使用して構築された場合、人間の思考と言語を模倣できます。これにより、人々はツールの使用に柔軟に対応し、新しい状況に適応し、言語的に論理的な理由づけを行い、飛び込みでマルチエージェントシステムを開発することができます。 LLMは、人間とのインタラクション、推論、計画を理解し、言語エージェントの基盤を適切に構築するために、必要な文脈における根拠を確保する必要があります。LLMの自然言語の機能により、人間の会話、思考、計画に近い動作が可能です。しかし、環境に基づいた実行は通常、汎用コードまたはドメイン固有のAPIを使用して行われます。これには、ウェブブラウザの管理、オペレーティングシステムのコマンドラインインターフェース端末との通信、ロボットアームの制御などが含まれます。 このギャップを埋めるため、香港大学、XLang Lab、Salesforce Research、Sea AI Lab、ワシントン大学、MIT CSAILによる新しい研究では、事前トレーニングおよび指示の微調整手法を用いて、テキストとコードの調和を実現するために事前トレーニングおよび指示の微調整を行い、最先端のプロトタイプであるLemurとLemur-Chatを公開しています。これにより、オリジナルのLlama-2-70Bを改善しました。自然言語の能力を保持しながら、コーディング能力を向上させるために、The Stackを基にしたコード中心のコーパスを構築し、90億トークンのテキストとコードの比率が10：1のデータを含みました。これがLemurとして知られるプロトタイプです。指示に従うモデルであるLemur-Chatを作成するために、最初にテキストとコードの両方から約10万インスタンスを使用して事前トレーニングを行いました。LemurとLemur-Chatは、8つのテキストとコーディングのベンチマーク全体で幅広い評価を受けた後の最もバランスの取れたオープンソースモデルであることが証明されています。 さらに、この試みは、さまざまな環境で言語エージェントのコア能力を評価するためのエージェント基準を提供することを目指しています。特に、ツールのスキルと環境と社会のフィードバックにおける定着能力に焦点を当てています。また、エージェントが情報の不完全さに基づいて操作を行い、ギャップを埋めるために追加のアクションを実行する必要がある実際の環境における部分的に可視なシナリオには固有の困難があります。実験により、Lemur-Chatは他のオープンソースモデルと比較して13のエージェントベンチマークのうち12つで優れたパフォーマンスを示すことが示されています。これは、自然言語とプログラミングの能力を組み合わせることによって、Lemur-Chatが自然言語エージェントの既存のオープンソースモデルとの性能差を埋めることができることを示しています。 これらのテストの結果から、言語エージェントを構築する際には、言語と計算能力を組み合わせることの重要性が明らかになります。自然言語処理に優れ、コーディングに苦労するLlama-2-70B-Chatなどのモデルは、行動空間が制約されており、そのようなツールを使用する努力が低いため、基本的なツールを効率的に利用することができます。対照的に、ウェブブラウジングやホームナビゲーションなどの洗練された意思決定シナリオに直面した場合、アクションスペースは通常、莫大ですが、高いコーディング能力を持つモデルは複雑な実行可能なアクションシーケンスを構築するときに優位に立ちます。結論として、Lemurの優れたパフォーマンスは、自然言語処理とプログラミングの優位性に起因します。この研究は、自然言語とプログラミング言語の相乗効果の最適化を探りながら、さまざまな環境で優れた機能を持つ高度な言語エージェントを作成するための基礎を築くものです。

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us