「シュレディンガー・ブリッジはテキスト・トゥ・スピーチ（TTS）合成において拡散モデルに勝るものになっていますか？」

「シュレディンガー・ブリッジ：TTS合成において拡散モデルを超える可能性はあるか？」

人工知能の進歩に伴い、自然言語処理、自然言語生成、コンピュータビジョンの分野は、最近大きな人気を得ています。これは、大規模言語モデル（LLMs）の導入によるものです。テキスト音声合成（TTS）において成功を収めている拡散モデルは、優れた生成品質を示しています。しかし、これらの拡散モデルは、ノイズを導入し、望ましい生成目標についてほとんど情報を提供しない表現に制限されています。

最近の研究では、清華大学とマイクロソフトリサーチアジアの研究者チームが、Bridge-TTSと呼ばれる新しいテキスト音声合成システムを提案しました。これは、拡散ベースのTTS手法で使用されるノイズガウス事前分布の代わりに、クリーンで予測可能な代替物を提供する試みです。この代替事前分布は、テキスト入力から抽出された潜在表現から取得されます。

チームは、主な貢献が完全に管理可能なシュレディンガー橋の開発であると述べています。これにより、正確なメルスペクトログラムとクリーンな事前分布との接続が実現されます。提案されたBridge-TTSは、データからデータへのプロセスを使用し、従来の拡散モデルがデータからノイズへのプロセスを通じて機能するのとは対照的に、以前の分布の情報内容を向上させることができます。

• 「サポートベクターマシン（SVM）とは何ですか？」
• Google DeepMindはAlphaCode 2を導入しました：競争プログラミングの優れた進歩において、ジェミニモデルの力を利用した人工知能（AI）システム
• 「人工知能と気候変動」

チームはこの手法を評価し、評価により、Bridge-TTSはLJ-Speechデータセットでの実験的な検証によってその効果が強調されました。50ステップ/1000ステップの合成設定では、Bridge-TTSは拡散ベースのGrad-TTSよりも優れたパフォーマンスを発揮しました。それは強力で高速なTTSモデルよりも少ないステップでさらに優れた性能を発揮しました。Bridge-TTSアプローチの主な強みは、合成品質とサンプリング効率です。

チームは以下の主な貢献をまとめています。

1. メルスペクトログラムは、汚染されていないテキストの潜在表現から生成されました。従来のデータからノイズへの手順とは異なり、この表現は拡散モデルの文脈での条件情報として機能するため、ノイズがない作成されるようになっています。シュレディンガー橋を使用してデータからデータへのプロセスを調査しました。

1. ペアデータに対して完全に処理可能なシュレディンガー橋を提案しました。この橋は柔軟な形式の参照確率微分方程式（SDE）を使用しています。この手法により、設計空間の経験的な調査が可能になり、理論的な説明も提供されます。

1. サンプリング手法、モデルのパラメータ化、ノイズのスケジューリングがTTSの品質向上にどのように貢献するかを研究しました。非対称ノイズスケジュール、データ予測、および一次橋サンプラーも実装されました。

1. 完全に処理可能なシュレディンガー橋により、基礎プロセスの完全な理論的説明が可能になりました。サンプリングプロセスの効率、非対称ノイズスケジュール、モデルのパラメータ化における影響など、さまざまな要素がTTSの品質にどのように影響するかを理解するために、経験的調査も行われました。

1. この手法は推論速度と生成品質の両方で素晴らしい結果を出しました。拡散ベースのGrad-TTSは、1000ステップと50ステップの両方の生成状況で、この手法に大きく劣っていました。また、4ステップの生成ではFastGrad-TTS、トランスフォーマーベースのモデルFastSpeech 2、最先端のディスティレーションアプローチCoMoSpeechよりも優れた性能を発揮しました。

1. この手法は、たった1回のトレーニングセッションですばらしい結果を達成しました。この効率性は、作成プロセスの複数の段階で見ることができ、提案された手法の信頼性と能力を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!