アリババの研究者らがQwen-Audioシリーズを発表 ユニバーサルな音声理解能力を備えた大規模な音声言語モデルのセット

「アリババの研究者がQwen-Audioシリーズを発表！ユニバーサルな音声理解能力を備えた大規模な音声言語モデルのセット」

アリババグループの研究チームは、さまざまなタスクに対する事前学習済みオーディオモデルの限定的な課題に対処するQwen-Audioを紹介しました。階層型のタグベースのマルチタスクフレームワークは、共同トレーニングからの干渉問題を避けるために設計されています。Qwen-Audioは、タスク固有の調整なしでベンチマークのタスク全体で素晴らしいパフォーマンスを発揮します。Qwen-Audio-Chatは、Qwen-Audioをベースに作成され、マルチターンの対話とさまざまなオーディオ中心シナリオをサポートし、その普遍的なオーディオ理解能力を示しています。

Qwen-Audioは、従来のオーディオ言語モデルの制限を乗り越え、さまざまなオーディオタイプとタスクに対応します。以前の音声に関する作品とは異なり、Qwen-Audioは人間の話し声、自然音、音楽、歌を組み入れることで、異なる粒度のデータセットでの共同トレーニングを可能にします。このモデルは、タスク固有の変更なしで音声認識タスクなどで優れた成績を収めます。Qwen-Audio-Chatは、これらの機能を拡張し、人間の意図との整合性を図り、オーディオとテキストの入力からのマルチリンガルなマルチターンの対話をサポートし、堅牢かつ包括的なオーディオ理解を示します。

LLM（Language Language Models）は一般的な人工知能に優れていますが、オーディオの理解力に欠けます。Qwen-Audioは、30のタスクとさまざまなオーディオタイプをカバーするように事前学習のスケーリングを行い、干渉を軽減するマルチタスクフレームワークを利用します。Qwen-Audioは、タスク固有の調整なしでベンチマーク全体で印象的なパフォーマンスを発揮します。Qwen-Audio-Chatは、マルチターンの対話とさまざまなオーディオ中心のシナリオをサポートし、LLMの包括的なオーディオインタラクション能力を示しています。

• ペンシルバニア大学の研究者たちは、OpenAIのChatGPT-Visionに対して、一連のテストを実施することで、ビジョンベースのAI機能の有効性を評価するための機械学習フレームワークを開発しました
• UCバークレーとSJTU中国の研究者が、言語モデルのベンチマークと汚染を再考するための「再表現サンプル」の概念を紹介しました
• 南開大学と字節跳動の研究者らが『ChatAnything』を導入：LLM強化された人物像生成に特化した革新的なAIフレームワーク

Qwen-AudioとQwen-Audio-Chatは、普遍的なオーディオ理解と柔軟なヒューマンインタラクションのためのモデルです。Qwen-Audioは、オーディオエンコーダを最適化するマルチタスクの事前学習アプローチを採用し、同時に言語モデルの重みを固定します。一方、Qwen-Audio-Chatは、音声エンコーダの重みを固定しながら、言語モデルを最適化する教師ありの微調整を使用します。トレーニングプロセスには、マルチタスクの事前学習と教師付きの微調整が含まれます。Qwen-Audio-Chatは、多言語、マルチターンの対話をオーディオとテキストの入力からサポートする多目的なヒューマンインタラクションを実現し、その適応性と包括的なオーディオ理解を示しています。

Qwen-Audioは、ベンチマークのさまざまなタスクで驚異的なパフォーマンスを発揮し、タスク固有の調整なしでは先行研究を大幅に上回ります。AAC、SWRT ASC、SER、AQA、VSC、およびMNAのようなジョブでは、ベースラインを大幅に上回る結果を一貫して出します。このモデルは、CochlScene、ClothoAQA、VocalSoundで最新の成果を達成し、堅牢なオーディオ理解能力を示しています。さまざまな分析におけるQwen-Audioの優れたパフォーマンスは、チャレンジングなオーディオタスクの最新の成果を達成する能力と有能性を強調しています。

Qwen-Audioシリーズは、さまざまなオーディオタイプとタスクにわたる普遍的な理解を備えた大規模なオーディオ言語モデルを紹介します。これらのモデルは、マルチタスクトレーニングフレームワークを通じて開発され、異なるデータセットのさまざまなテキストラベルからの干渉を乗り越え、知識の共有を促進します。タスク固有の調整なしでベンチマーク全体で印象的なパフォーマンスを実現するQwen-Audioは、先行研究を上回ります。Qwen-Audio-Chatは、これらの機能を拡張し、マルチターンの対話を可能にし、さまざまなオーディオシナリオをサポートし、人間の意図との堅牢な整合性を示し、多言語の相互作用を促進します。

Qwen-Audioの将来の探索には、さまざまなオーディオタイプ、言語、および特定のタスクの能力を拡大することが含まれます。マルチタスクフレームワークの改良や、共同トレーニングにおける干渉問題に対処するための代替の知識共有アプローチの検討が可能です。タスク固有の微調整の調査はパフォーマンスを向上させることができます。新しいベンチマーク、データセット、およびユーザーフィードバックに基づいた継続的な更新は、普遍的なオーディオ理解を向上させることを目指しています。Qwen-Audio-Chatは、人間の意図との整合性を高め、多言語の相互作用をサポートし、動的なマルチターンの対話を可能にするために改良されます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!