「声AIがLLVCを発表：効率と速度に優れた画期的なリアルタイム音声変換モデル」

「声AIの画期的なLLVC発表：効率と速度に優れたリアルタイム音声変換モデル」

Koe AIの研究チームが、リアルタイムの任意の1つの声変換を可能にする、ultra-low latencyとminimal resource consumptionを特徴としたLLVC（Low-latency, Low-resource Voice Conversion）モデルを紹介しました。このモデルは、一般的な消費者向けCPU上で非常に高速に効率的に動作します。この研究は、LLVCのオープンソースのサンプル、コード、事前トレーニング済みのモデルの重みへのアクセスを広く提供しています。

LLVCモデルは、ジェネレータとディスクリミネータからなりますが、推論時にはジェネレータのみが使用されます。評価には、LibriSpeechのテストクリーンデータを使用し、Amazon Mechanical TurkのMean Opinion Scoresを用いて、自然さと目標話者の類似性を評価します。さらに、計算効率の向上のために、より大きなティーチャーモデルがより小さなスチューデントモデルをガイドする知識蒸留についても説明されています。

声変換は、話し方を他の話者のスタイルに合わせながら、元の内容やイントネーションを維持することを意味します。リアルタイムの声変換を実現するには、リアルタイム以上の速度、低遅延、将来のオーディオコンテキストへのアクセスの制限を持つことが必要です。既存の高品質の音声合成ネットワークは、これらの課題により適したものにする必要があります。Waveformerアーキテクチャに根ざしたLLVCは、リアルタイムの声変換のユニークな要求に対応するために設計されています。

• Google Translateが同音異義語を認識する方法を教えた方法
• 「回答を見つける（最良の回答を見つけるための最良の方法についての回答を見つける方法）」
• ロボットが4億5000万年前の絶滅した海洋生物を模倣

LLVCは、低遅延とリソースの使用効率を特徴とするGAN構造と知識蒸留を採用して、非常に効率的な動作を実現しています。カスタマイズされたDCCエンコーダーとトランスフォーマーデコーダーアーキテクチャを統合しています。LLVCは、さまざまな話者の声を特定のターゲット話者に似せるために変換する、並列データセットでトレーニングされています。モデルの出力と合成ターゲットの音声の知覚的な違いを減らすことを中心に行われます。

LLVCは、16kHzのビットレートでsub-20msの遅延を実現し、消費者向けCPU上ではほぼ2.8倍の実時間処理を超える成果を収めました。LLVCは、オープンソースの声変換モデルの中で、最も低いリソース消費量と遅延率を誇ることで、ベンチマークを確立しています。モデルの品質と自己類似性を評価するために、LibriSpeechのテストクリーンファイルからN秒のクリップを使用してモデルのパフォーマンスを評価します。比較では、CPU推論の遅延が最小のNo-F0 RVCとQuickVCと競合します。

本研究は、CPU上でのリアルタイムの任意の1つの声変換に焦点を当てており、異なるハードウェアでのモデルのパフォーマンスや既存のモデルとの比較には触れていません。評価は、遅延とリソース使用量に限定されており、音声の品質や自然さに関する分析は行われていません。詳細なハイパーパラメータの分析の欠如は、特定のニーズに対する再現性と微調整に支障をきたします。本研究は、スケーラビリティ、OSの互換性、言語やアクセントに関する課題についても議論されていません。

まとめると、この研究は、LLVCを通じて、消費者向けCPU上でリアルタイムに動作する、低遅延かつリソース効率の良い声変換の実現可能性を確立しています。LLVCは、専用のGPUを必要とせず、音声合成、音声匿名化、声のアイデンティティ変更などの実用的なアプリケーションに適用できます。ジェネレーティブ対抗アーキテクチャと知識蒸留の使用により、オープンソースの声変換モデルの新たな標準を設定し、効率を重視しています。LLVCは、単一入力話者データの微調整による個別の声変換の可能性を提供します。多言語音声やノイズのある音声を含めるトレーニングデータの拡充は、モデルのさまざまな話者への適応性を向上させる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!