「WavJourneyをご紹介します：大規模な言語モデルを使用した作曲用音声作成のためのAIフレームワーク」

WavJourney AI Framework for composing music using large-scale language models

マルチモーダル人工知能（AI）の新興分野は、視覚、聴覚、テキストデータを融合させ、個別のエンターテイメントから改善されたアクセシビリティ機能まで、さまざまなドメインでのエキサイティングな可能性を提供しています。自然言語は、多様な感覚領域を横断した理解力とコミュニケーション力を高める約束を持つ、強力な中間者としての役割を果たしています。大規模言語モデル（LLMs）は、さまざまなAIモデルと協力してマルチモーダルの課題に取り組むエージェントとして、印象的な能力を示しています。

LLMsはマルチモーダルの課題解決能力を評価されていますが、これらのモデルの基本的な能力について疑問が生じます。これらのモデルは、動的なマルチメディアコンテンツの作成者としても機能することができるでしょうか？マルチメディアコンテンツの作成には、テキスト、画像、音声など、さまざまな形式でデジタルメディアを生成することが含まれます。音声はマルチメディアの重要な要素であり、コンテキストや感情を提供するだけでなく、没入型体験にも貢献します。

過去の取り組みでは、音声や音楽の説明などの特定の条件に基づいてオーディオコンテキストを合成するために生成モデルが利用されました。しかし、これらのモデルは通常、これらの条件を超えた多様なオーディオコンテンツの生成に苦労し、現実世界での適用に制約がありました。構成的なオーディオ作成には、複雑な音響シーンの生成の複雑さという固有の課題があります。このタスクに対してLLMsを利用するには、文脈の理解と設計、オーディオの制作と構成、および対話的かつ解釈可能な作成パイプラインの確立などの課題に取り組む必要があります。これらの課題には、LLMsのテキストからオーディオへのストーリーテリング能力の向上、オーディオ生成モデルの調和、および人間と機械の共同作業のための対話的で解釈可能なパイプラインの作成が含まれます。

• 「Scikit-Learnによるアンサンブル学習：フレンドリーな紹介」
• 「カーンアカデミーがジェネラティブAI学習チューターのカーンミゴをリリース」
• ローゼンブラットのパーセプトロンによる分類

上記で言及された問題と課題に基づいて、WavJourneyという新しいシステムが提案されました。その概要は以下の図に示されています。

WavJourneyは、言語の指示に従って音声を生成するためにLLMsを利用しています。この技術は、スピーチ、音楽、効果音を含む事前定義された構造に従ったオーディオスクリプトをLLMsに促すものです。このスクリプトは、これらの音響要素の空間的および時間的な関係を緻密に考慮しています。複雑な音響シーンに対応するため、WavJourneyはそれらを個々の音響要素とそれに対応する音響レイアウトに分解します。このオーディオスクリプトはスクリプトコンパイラに入力され、タスク固有のオーディオ生成モデル、オーディオI/O関数、または計算操作を呼び出すためのコンピュータプログラムに変換されます。その後、このプログラムを実行して所望のオーディオコンテンツを生成します。

WavJourneyの設計にはいくつかの注目すべき利点があります。まず第一に、LLMsの理解力と広範な知識を活用して、多様な音響要素、複雑な音響のつながり、魅力的なオーディオストーリーを特徴とするオーディオスクリプトを作成します。第二に、複雑な音響シーンを異なる音響要素に分解する構成戦略を採用しています。これにより、すべてのテキストで説明された要素を考慮するのが困難なエンドツーエンドの手法とは異なり、さまざまなタスク固有のオーディオ生成モデルを組み合わせてコンテンツ作成が可能となります。第三に、WavJourneyはオーディオモデルのトレーニングやLLMsの微調整の必要性なく動作し、リソースの効率化を図っています。最後に、WavJourneyは現実世界のオーディオ制作において、人間と機械の共同作業を容易にします。

この研究から選ばれたサンプル結果は、以下の画像に示されています。これらの事例研究は、WavJourneyと最先端の生成手法との比較的な概要を提供しています。

これは、言語指示によってガイドされた構成音声を作成するためにLLMを活用する革新的なAIフレームワークであるWavJourneyの概要でした。興味がある方や詳細を知りたい方は、以下に引用されたリンクをご参照ください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!