Search Results A

「NExT-GPTを紹介します：エンドツーエンドの汎用的な任意対任意のマルチモーダル大規模言語モデル（MM-LLM）」

マルチモーダルLLMは、音声、テキスト、および視覚入力を介したより自然で直感的なユーザーとAIシステムのコミュニケーションを可能にすることで、人間とコンピュータのインタラクションを向上させることができます。これにより、チャットボット、仮想アシスタント、コンテンツ推薦システムなどのアプリケーションにおいて、より文脈に即した総合的な応答が可能となります。これらは、GPT-3などの従来の単一モーダル言語モデルの基礎を築きながら、異なるデータタイプを処理するための追加の機能を組み込んでいます。ただし、マルチモーダルLLMは、優れたパフォーマンスを発揮するためには大量のデータが必要となり、他のAIモデルよりもサンプル効率が低くなる可能性があります。トレーニング中に異なるモダリティのデータを整合させることは困難な場合があります。エラー伝搬におけるエンドツーエンドのトレーニングが全体的に欠けているため、コンテンツの理解やマルチモーダルな生成能力は非常に限定的となることがあります。異なるモジュール間の情報伝達は、LLMによって生成される離散的なテキストに基づいて完全に行われるため、ノイズやエラーが避けられません。各モダリティからの情報が適切に同期されることは、実用的なトレーニングには不可欠です。これらの問題に対処するために、NeXT++の研究者、School of Computing（NUS）は、NexT-GPTを構築しました。これは、テキスト、画像、動画、音声のモダリティの任意の組み合わせでの入力と出力を処理するために設計されたマルチモーダルLLMです。エンコーダは、さまざまなモダリティの入力をエンコードし、それらをLLMの表現に投影することができます。彼らの手法は、既存のオープンソースのLLMを修正して、入力情報を処理するコアとして使用します。投影後、特定の指示を持つ生成されたマルチモーダル信号は、異なるエンコーダに送られ、最終的に対応するモダリティでコンテンツが生成されます。モデルをゼロからトレーニングするのは費用効果が低いため、既存の高性能なエンコーダとデコーダ（Q-Former、ImageBind、最先端の潜在的な拡散モデルなど）を使用します。彼らは、LLM中心のエンコーディング側とデコーディング側の指示に従ったアライメントを効率的に実現するための軽量なアライメント学習技術を導入しました。さらに、人間レベルの機能を持つ任意のMM-LLMを実現するためのモダリティ切り替え指示チューニングも導入しています。これにより、異なるモダリティの特徴空間のギャップを埋め、他の入力の流暢な文脈理解を確保し、NExT-GPTのためのアライメント学習を行うことができます。モダリティ切り替え指示チューニング（MosIT）は、複雑なクロスモーダルな理解と推論をサポートし、洗練されたマルチモーダルなコンテンツ生成を可能にします。彼らはさらに、多様なユーザーのインタラクションを扱い、必要な応答を正確に提供するために必要な複雑さと変動性を持つ高品質なデータセットを構築しました。最後に、彼らの研究は、任意のMMLLMがさまざまなモダリティ間のギャップを埋め、将来的により人間らしいAIシステムの可能性を示しています。

「無脳」ソフトロボットがロボット工学の大発展により複雑な環境を航行する

ロボティクスの進化する分野において、研究者たちによって画期的なブレークスルーが導入されました：複雑な環境でも人間やコンピュータの指示を必要としないソフトロボットですこの新しい発明は、以前の研究でシンプルな迷路で基本的なナビゲーションスキルを示したソフトロボットに基づいていますナビゲーションのための物理的知能の活用について、Jie Yin氏が述べています

Robotics

「悪魔に叫べカプコンの『デビルメイクライ 5』がGeForce NOWに参加」

GFN Thursdayは、Devil May Cry 5がGeForce NOWに登場するため、まさに悪魔的です。 Capcomのアクション満載のサードパーソンバトルゲームは、今週GeForce NOWのライブラリに15タイトルが追加されます。その中には、Gears TacticsやThe Crew Motorfestも含まれています。また、Ultimate KovaaK’s Challengeに挑戦する最後の週です。今日リーダーボードに参加して、240HzのゲーミングモニターやゲーミングChromebook、GeForce NOWのメンバーシップなどの賞品を獲得するチャンスを手に入れましょう。挑戦は9月21日木曜日に終了します。悪魔が帰ってくるジャックポット！ Devil May Cry 5は、CapcomのカタログからGeForce NOWに登場する次のタイトルです。メンバーは、GeForce RTXの品質で高速でスタイリッシュなアクションをほぼすべてのデバイスでストリーミングできます。これは、GeForce NOWのクラウドゲーミングサーバーのパワーによるものです。…