この中国のAI研究は、最新のSOTAビジュアル言語モデルGPT-4V(ision)の詳細な評価と自動運転シナリオへの応用を提供しています

「最新のSOTAビジュアル言語モデルGPT-4V(ision)の詳細な評価と自動運転シナリオへの応用を提供する中国のAI研究」

上海人工知能研究所、GigaAI、華東師範大学、香港中文大学、WeRide.aiの研究チームは、自律走行シナリオでのGPT-4V(ision)と呼ばれるビジュアル言語モデルの適用可能性を評価しています。GPT-4Vは、シーン理解と因果推論の分野で優れた性能を発揮し、さまざまなシナリオの処理と意図の認識において潜在的な可能性を示しています。方向判断や信号機の認識には依然として課題があり、さらなる研究と開発が必要とされています。この研究は、自動運転の実際の運転状況におけるGPT-4Vの有望な能力を明らかにし、改善のための具体的な領域を特定しています。

この研究では、自律運転の状況でGPT-4V(ision)のシーン理解、意思決定、運転能力を評価しています。包括的なテストにより、GPT-4Vは既存のシステムに比べてシーン理解と因果推論の分野で優れたパフォーマンスを示しています。ただし、方向判断や信号機の認識などのタスクには課題が残り、自律運転能力を向上させるためにさらなる研究と開発が求められています。この研究結果は、GPT-4Vの潜在能力を強調し、引き続きの探索と改善の努力を通じて特定の制約に取り組む必要性を強調しています。

従来の自律車両へのアプローチでは、オブジェクトの正確な認識と他の交通参加者の意図の理解に課題があります。LLMはこれらの問題に対処する可能性がありますが、視覚データの処理能力に制約があります。GPT-4Vの登場により、自動運転におけるシーン理解と因果推論を向上させる機会が提供されます。この研究は、実際の運転状況で様々な条件の認識と意思決定能力を包括的に評価し、自動運転の将来の研究に基礎的な示唆を提供することを目指しています。

• AdobeのAI研究が提案する「ラージリコンストラクションモデル（LRM）」は、単一の入力画像からオブジェクトの3Dモデルを5秒以内に予測するというものです
• 研究者たちは、より優れた熱管理のために固体熱トランジスタを開発しました
• 「オックスフォード大学と西安交通大学の研究者たちが、先端メモリ技術での相変化材料のシミュレーションに向けた革新的な機械学習モデルを発表」

この手法は、自律運転シナリオの文脈におけるGPT-4V(ision)の包括的な評価を提供しており、ドライビングシーンの理解、意思決定、ドライバーとしての役割を評価しています。基本的なシーン認識、複雑な因果推論、さまざまな条件下でのリアルタイムの意思決定などのタスクが含まれます。評価には、オープンソースのデータセット、CARLAシミュレーション、インターネットからの選りすぐりの画像やビデオが使用されています。

GPT-4Vは、現行の自律システムに比べてシーン理解と因果推論の能力が向上しており、配布範囲外のシナリオの処理、意図の認識、実際の運転状況での的確な意思決定能力を示しています。ただし、方向判断、信号機の認識、ビジョンの基礎付け、空間推論などの課題が残っています。この評価は、GPT-4Vの能力が既存のシステムを上回っており、自動運転の将来の研究に基礎的な示唆を提供しています。

この研究は、自律運転シナリオにおいてGPT-4V(ision)の包括的な評価を行い、既存のシステムに比べてシーン理解と因果推論の優れた性能を明らかにしています。GPT-4Vは、配布範囲外の手順の処理、意図の認識、実際の運転状況での的確な意思決定能力を示し、潜在的な可能性を示しています。ただし、方向判断、信号機の認識、ビジョンの基礎付け、空間推論などの課題が残ります。

この研究は、方向判断、信号機の認識、ビジョンの基礎付け、空間推論の課題に対処するための追加の研究と開発の必要性を認識しています。また、最新バージョンのGPT-4Vでは、現在の研究で提示されたテスト結果と異なる応答が得られる可能性があることを指摘しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!