Search Results 声

中国のこのAI論文では、UniRepLKNetと呼ばれる画像、音声、時間系列データ解析においてクロスモーダル性能を向上させるための革新的な大規模カーネルConvNetアーキテクチャが紹介されています

CNN（畳み込みニューラルネットワーク）は、近年では画像認識のための人気のある技術となっています。物体検出、分類、セグメンテーションのタスクにおいて非常に成功しています。しかし、これらのネットワークがより複雑になるにつれて、新たな課題が浮上しています。テンセントAI Labと香港中文大学の研究者は、大規模カーネルCNNにおけるアーキテクチャの課題に対応するための4つのガイドラインを提案しました。これらのガイドラインは、大規模カーネルをビジョンのタスク以外の領域、例えば時系列予測や音声認識などに拡張して、画像認識の向上を目指しています。 UniRepLKNetは、非常に大きなカーネルを持つConvNetの有効性を探求し、空間畳み込みだけでなく、ポイントクラウドデータ、時系列予測、音声、ビデオの認識などのドメインにまで拡張します。以前の研究では、異なる大きなカーネルの種を紹介していましたが、UniRepLKNetはそのようなカーネルを持つConvNetのためのアーキテクチャ設計に焦点を当てています。UniRepLKNetは3Dパターン学習、時系列予測、音声認識の分野で専門モデルを上回るパフォーマンスを発揮します。テクニカルモデルよりもわずかに低いビデオ認識の精度を持ちながらも、UniRepLKNetはゼロから訓練された総合的なモデルであり、さまざまなドメインでの柔軟性を提供します。 UniRepLKNetは大規模カーネルを持つConvNet向けのアーキテクチャガイドラインを導入し、過剰な深さを避け、広範なカバレッジを重視しています。ガイドラインはVision Transformers（ViTs）の制限に対処し、効率的な構造に焦点を当て、畳み込み層の再パラメータ化、タスクベースのカーネルサイジング、3×3畳み込み層の組み込みを扱っています。UniRepLKNetは既存の大規模カーネルConvNetと最近のアーキテクチャを上回る、画像認識における性能と効率を示しています。時系列予測や音声認識でも普遍的な知覚能力を示し、ポイントクラウドデータの3Dパターン学習においても、専門のConvNetモデルを超える性能を持ちます。 UniRepLKNetのアーキテクチャは、ImageNetの精度が88.0％、ADE20KのmIoUが55.6％、COCOボックスAPが56.4％といった画像認識タスクにおけるトップクラスのパフォーマンスを達成しています。UniRepLKNetの普遍的な知覚能力は、グローバル気温と風速予測の課題においてMSEとMAEで競合他社を上回ることで示されています。UniRepLKNetはポイントクラウドデータの3Dパターン学習においても専門のConvNetモデルを超える性能を発揮します。このモデルは、セグメンテーションなどの下流タスクでも有望な結果を示し、多様なドメインでの優れたパフォーマンスと効率性を確認しています。まとめると、研究のまとめは以下の通りです：研究では、大規模カーネルConvNet向けの4つのアーキテクチャガイドラインを導入しています。これらのガイドラインは大規模カーネルConvNetの特徴を重視しています。これらのガイドラインに従って設計されたConvNetモデルであるUniRepLKNetは、画像認識タスクにおいて競合他社を上回る優れたパフォーマンスを発揮します。 UniRepLKNetはカスタマイズなしで時系列予測や音声認識などの領域で普遍的な知覚能力を示します。 UniRepLKNetはポイントクラウドデータの3Dパターン学習においても専門モデルを上回ります。また、研究は非膨張性の大規模カーネル畳み込み層の性能を向上させるためにDilated Reparam Blockを導入しています。この研究は貴重なアーキテクチャガイドラインを提供し、UniRepLKNetとその能力を紹介し、Dilated Reparam Blockの概念を示しています。

「オープンソースツールを使用して、プロのように音声をクローンし、リップシンク動画を作る方法」

紹介 AI音声クローンはソーシャルメディアで大流行しています。これにより、創造的な可能性が広がりました。ソーシャルメディアで有名人のミームやAI声の上書きを見たことがあるかもしれません。それがどのように行われているのか疑問に思ったことはありませんか？Eleven Labsなど、多くのプラットフォームがAPIを提供していますが、オープンソースソフトウェアを使用して無料で行うことはできるのでしょうか？短い答えは「YES」です。オープンソースには音声合成を実現するためのTTSモデルとリップシンクツールがあります。したがって、この記事では、音声クローンとリップシンクのためのオープンソースのツールとモデルを探求してみましょう。学習目標 AI音声クローンとリップシンクのためのオープンソースツールを探求する。 FFmpegとWhisperを使用してビデオを転写する。 Coqui-AIのxTTSモデルを使用して声をクローンする。 Wav2Lipを使用してビデオのリップシンクを行う。この技術の実世界での使用例を探求する。この記事はData Science Blogathonの一環として公開されました。オープンソーススタック既にご存じのように、私たちはOpenAIのWhisper、FFmpeg、Coqui-aiのxTTSモデル、およびWav2lipを私たちの技術スタックとして使用します。しかし、コードに入る前に、これらのツールについて簡単に説明しましょう。そして、これらのプロジェクトの作者に感謝します。 Whisper： WhisperはOpenAIのASR（自動音声認識）モデルです。これは、多様なオーディオデータと対応するトランスクリプトを用いて、650,000時間以上のトレーニングを受けたエンコーダ-デコーダトランスフォーマーモデルです。そのため、オーディオからの多言語の転写に非常に適しています。エンコーダは、30秒のオーディオチャンクのログメルスペクトログラムを受け取ります。各エンコーダブロックは、オーディオ信号の異なる部分を理解するためにセルフアテンションを使用します。デコーダは、エンコーダからの隠れ状態情報と学習済みの位置エンコーディングを受け取ります。デコーダはセルフアテンションとクロスアテンションを使用して次のトークンを予測します。プロセスの最後に、認識されたテキストを表すトークンのシーケンスを出力します。Whisperの詳細については、公式リポジトリを参照してください。 Coqui TTS： TTSはCoqui-aiのオープンソースライブラリです。これは複数のテキスト読み上げモデルをホストしています。Bark、Tortoise、xTTSなどのエンドツーエンドモデル、FastSpeechなどのスペクトログラムモデル、Hifi-GAN、MelGANなどのボコーダなどがあります。さらに、テキスト読み上げモデルの推論、調整、トレーニングのための統一されたAPIを提供しています。このプロジェクトでは、xTTSというエンドツーエンドの多言語音声クローニングモデルを使用します。これは英語、日本語、ヒンディー語、中国語などを含む16の言語をサポートしています。TTSについての詳細情報は、公式のTTSリポジトリを参照してください。 Wav2Lip： Wav2Lipは、「A Lip Sync…

「2020年と2021年のトップの声、グレッグ・コキーヨとともにLinkedInで成功しよう」

「私は、LinkedInで注目されるトップボイスのGreg Coquilloさんと魅力的な会話をしました彼はシニアプロダクトマネージャーであり、AIスタートアップの投資家でもありますこの機会を利用して重要なポイントについて深く掘り下げることができました」

「耳を持つドローン」というタイトルで提案されている最新のテクノロジーが注目されていますこのドローンは、耳のようなセンサーを備えており、音を感知することができますこれにより、ドローンが音声指示を聞き分けることが可能になり、より効果的な操作やアクションが行えるようになります

研究者たちは、カメラと一緒にドローンに追加できるマイクロフォンアレイを開発しましたこれにより、災害の被災者の位置の特定を支援することができます

Google AI研究のTranslatotron 3：革新的な教師なし音声対音声翻訳アーキテクチャの発表

音声から音声への翻訳（S2ST）は、言語の壁を取り払うための画期的な技術ですが、並行音声データの不足がその進展を妨げてきました。既存のほとんどのモデルは、教師付きの設定を必要とし、合成されたトレーニングデータからの翻訳と音声属性の再構築の学習に苦労しています。音声から音声への翻訳では、Google AIの以前のモデルであるTranslatotron 1やTranslatotron 2など、Googleの研究チームによって直接言語間の音声を翻訳することを目指したモデルが注目されてきました。しかし、これらのモデルは教師付きのトレーニングと並行音声データに依存しているため、制約がありました。課題はそのような並行データの不足にあり、S2STモデルのトレーニングを複雑な課題にしています。ここで、Googleの研究チームが紹介した画期的な解決策であるTranslatotron 3が登場します。研究者たちは、音声翻訳のための公開データセットのほとんどがテキストから半合成または完全合成されたものであることに気付きました。これにより、翻訳の学習と音声属性の正確な再構築に関して、さらなるハードルが生じています。これに対応するために、Translatotron 3は、単一言語データのみから翻訳タスクを学習することを目指す非教師付きS2STの概念を導入することで、パラダイムシフトを実現します。このイノベーションにより、さまざまな言語ペア間での翻訳の可能性が拡大し、一時停止、話す速度、話者の身元などの非テキストの音声属性の翻訳能力が導入されます。 https://blog.research.google/2023/12/unsupervised-speech-to-speech.html Translatotron 3のアーキテクチャは、非教師付きS2STの課題に対処するために3つのキー要素で設計されています。 SpecAugmentを用いたマスク付きオートエンコーダとしてのプレトレーニング: 全体のモデルはマスク付きオートエンコーダとして事前にトレーニングされ、音声認識のためのシンプルなデータ拡張手法であるSpecAugmentを利用します。SpecAugmentは入力オーディオの対数メルスペクトログラム上で動作し、エンコーダの汎化能力を向上させます。多言語非教師付き埋め込みマッピングに基づくUnsupervised Embeddings (MUSE): Translatotron 3は、対称言語でトレーニングされたテクニックであるMUSEを活用し、ソース言語とターゲット言語の間で共有の埋め込み空間を学習します。この共有の埋め込み空間により、入力音声の効率的かつ効果的なエンコーディングが可能となります。バックトランスレーションによる再構築損失: モデルは、非教師付きのMUSE埋め込み損失、再構築損失、およびS2Sバックトランスレーション損失の組み合わせでトレーニングされます。推論中に、共有エンコーダは入力を多言語埋め込み空間にエンコードし、その後、ターゲット言語デコーダによってデコードされます。 Translatotron 3のトレーニング手法は、再構築とバックトランスレーション項を持つ自己符号化を含んでいます。最初の部分では、ネットワークはMUSE損失と再構築損失を使用して、入力を多言語埋め込み空間に自己符号化するようにトレーニングされます。このフェーズでは、ネットワークが意味のある多言語表現を生成することを目的としています。二番目の部分では、ネットワークはバックトランスレーション損失を使用して入力スペクトログラムを翻訳するようにトレーニングされます。この二番目のトレーニングの際に、潜在空間の多言語性を確保するために、MUSE損失と再構築損失が適用されます。両方のフェーズでエンコーダの入力にSpecAugmentが適用され、意味のあるプロパティが学習されるようになっています。 Translatotron 3の経験的評価は、基準のカスケードシステムに比べて会話の微妙なニュアンスを保護する点でその優位性を示しています。このモデルは、翻訳の品質、話者の類似性、音声の品質において優れた性能を発揮します。非教師付きの方法であるにもかかわらず、Translatotron…

スタイルTTS 2 大規模スピーチ言語モデルを用いた人間レベルのテキスト音声変換

自然な音声合成手法や合成手法の増加により、過去数年間においてAI業界が達成した主な成果の一つは、潜在的な応用範囲を持つテキストから音声への合成フレームワークを効果的に開発したことですこれは、オーディオブックやバーチャルアシスタント、ナレーションなど、さまざまな産業において可能性のある応用があります最新の技術では、人間と同等のパフォーマンスを提供することがあります

StyleTTS

韓国大学の研究者たちは、HierSpeech++を発表しました：高品質で効率的なテキスト読み上げと声の変換のための画期的なAIアプローチ

韓国大学の研究者たちは、HierSpeech++という新しい音声合成器を開発しました。この研究は、堅牢で表現豊かで自然で人間らしい合成音声を作り出すことを目的としています。チームは、テキスト-音声の対応データセットに頼らずにこれを達成し、既存モデルの短所を改善することを目指しました。HierSpeech++は、音声合成における意味論的な空間と音響的な表現とのギャップを埋めることを目的として設計され、スタイルの適応を改善します。これまで、LLMに基づくゼロショット音声合成には制約がありました。しかし、HierSpeech++はこれらの制約に対処し、推論速度の遅さに関連する問題を解決するために開発されました。HierSpeech++は、テキストとイントネーションのプロンプトに基づいて自己教師あり音声とF0表現を生成するテキスト-ベクトルフレームワークを活用することで、LLMベースおよび拡散ベースのモデルを上回るパフォーマンスを発揮することが証明されています。これらの高速化、堅牢性の向上、品質の進歩により、HierSpeech++は強力なゼロショット音声合成器として位置付けられています。 HierSpeech++は、事前トレーニングなしで音声を生成するための階層的なフレームワークを使用しています。テキストとイントネーションのプロンプトに基づいて自己教師ありのアドレスとF0表現を開発するために、テキスト-ベクトルフレームワークを採用しています。音声は、階層的なバリアショナルオートエンコーダーと生成されたベクトル、F0、および音声プロンプトを使用して生成されます。この方法には、効率的な音声の超解像度フレームワークも含まれています。包括的な評価では、対数スケールメルエラー距離、音声品質の知覚評価、ピッチ、周期性、音声/非音声F1スコア、自然さ、平均評価スコア、音声の類似性MOSなど、ロスケールのメトリックスと主観的なメトリックスを備えたさまざまな事前トレーニングモデルと実装が使用されます。 HierSpeech++はゼロショットのシナリオで優れた自然さを実現し、堅牢性、表現力、話者の類似性を向上させます。自然さ、平均評価スコア、音声の類似性MOSなどの主観的なメトリックスが音声の魅力を評価するために使用され、その結果、HierSpeech++は真実の音声を上回る性能を示しました。音声の自然さをさらに向上させるために、16 kHzから48 kHzへの音声の超解像度フレームワークも取り入れられました。実験結果はまた、HierSpeech++における階層的なバリアショナルオートエンコーダーがLLMベースのモデルおよび拡散ベースのモデルに優れていることを示し、堅牢なゼロショット音声合成器となっています。また、ノイズのあるプロンプトでのゼロショットテキスト音声合成が、見知らぬ話者からの音声生成におけるHierSpeech++の有効性を検証することも明らかにされました。階層的な合成フレームワークは、柔軟なイントネーションと声のスタイルの転送も可能にし、合成音声をさらに柔軟にします。まとめると、HierSpeechはゼロショット音声合成において人間レベルの品質を達成するための効率的かつ強力なフレームワークを提供します。意味モデリング、音声合成、超解像度、イントネーションと声のスタイルの転送の切り離しにより、合成音声の柔軟性が向上します。このシステムは、小規模なデータセットでも堅牢性、表現力、自然さ、話者の類似性の向上を実証し、推論速度を大幅に向上させます。この研究では、クロスリンガルおよび感情制御可能な音声合成モデルへの拡張の可能性も探求されています。

聴覚処理の解読：深層学習モデルが脳内の音声認識とどのように類似しているか

研究によると、聴覚データを言語的表現に変換する計算は、声の知覚に関与しています。誰かが音声を聞くと、聴覚経路が活性化されます。これには、主要および非主要の聴覚皮質領域、聴覚神経、および底皮質構造が含まれます。環境の状況や言語的知覚単位に対する変化する音声信号のため、自然言語の知覚は困難な課題です。古典的な認知モデルは、音声の多くの心理的特徴を説明できますが、これらのモデルは脳の符号化と自然言語の認識を説明するのに不十分です。深層学習モデルは、自動音声認識で人間の性能に近づいています。 AIモデルの解釈可能性を向上させ、感覚知覚の新たなデータ駆動型計算モデルを提供するため、カリフォルニア大学サンフランシスコ校の研究者たちは、深層学習モデルの計算と表現を人間の聴覚系の神経応答と関連付けることを目指しています。この研究では、人間の聴覚回路と最先端の音声ニューラルネットワークモデル間の共通の表現と計算を特定することを目指しています。分析は、昇順聴覚経路に沿って正確な音声に対するニューラル応答に相関する深層ニューラルネットワーク（DNN）音声埋め込みに焦点を当て、ニューラル符号化のためのフレームワークを使用して行われます。聴覚回路と異なる計算アーキテクチャ（畳み込み、再帰、セルフアテンション）および訓練手法（教師ありおよび教師なしの目標）を持つディープニューラルネットワーク（DNN）モデルを比較する方法論的な手法が用いられます。さらに、DNNの計算の調査は、ニューラル符号化予測の基本的なプロセスに関する情報を提供します。これまでのモデリング試みは、主に英語を中心とした単一の言語に焦点を当てていましたが、この研究では、言語固有および言語非依存の音声知覚の特徴をクロスリンガルパラダイムを使用して明らかにします。先端のDNNがヒトの聴覚系で鍵となる情報処理要素に近く獲得される音声表現方法を示し、DNN特徴表現が真実の音声に対するニューロンの応答を予測する際に、理論に基づく音響-音声的特徴セットよりも優れた性能を発揮することが研究で明らかにされました。さらに、DNNにおける基本的な文脈処理を調査しました。彼らは完全に教師なしの自然言語のトレーニングが、これらのネットワークが音素や音節の文脈など、言語に特有なリンギスティックな情報を獲得する方法であることを発見しました。この言語固有の言語情報を獲得する能力は、非主要聴覚皮質におけるDNN-ニューラル符号化の相関を予測します。線形STRFモデルは、クロス言語知覚時のSTGにおける言語固有の符号化を明らかにすることはできませんが、ディープラーニングベースのニューラル符号化モデルはできます。まとめると、比較的な方法論を用いて、研究者たちは、音声学習用ディープニューラルネットワーク（DNN）と人間の聴覚システム間に重要な表現的および計算的類似性を示しています。神経科学の観点から見ると、古典的な特徴ベースの符号化モデルは、統計的構造からの中間音声特性を抽出するためにデータ駆動型計算モデルによって超えられます。神経応答と選択性との対照により、AIの観点からDNNの「ブラックボックス」表現を理解する手段を提供します。彼らは現代のDNNが、ヒトの聴覚システムが情報を処理する方法に似た表現方法を選んだ可能性を示しています。研究者によれば、将来の研究では、より幅広い範囲のAIモデルとさらに多様な人口を使用してこれらの結果を調査し、検証することができるでしょう。 The post Deciphering Auditory Processing: How Deep Learning Models Mirror Human Speech Recognition in the Brain appeared first…

蒸留-ささやき：AI音声からテキストへの技術の進歩

私のブログやAIニュースレターを受け取り、私のYouTubeでの成功の秘訣のような無料ギフトを受け取ってください！ご存知の通り、私たちはすでにAIとの文書形式で非常にうまくやりとりできますし、...

アリババの研究者らがQwen-Audioシリーズを発表ユニバーサルな音声理解能力を備えた大規模な音声言語モデルのセット

アリババグループの研究チームは、さまざまなタスクに対する事前学習済みオーディオモデルの限定的な課題に対処するQwen-Audioを紹介しました。階層型のタグベースのマルチタスクフレームワークは、共同トレーニングからの干渉問題を避けるために設計されています。Qwen-Audioは、タスク固有の調整なしでベンチマークのタスク全体で素晴らしいパフォーマンスを発揮します。Qwen-Audio-Chatは、Qwen-Audioをベースに作成され、マルチターンの対話とさまざまなオーディオ中心シナリオをサポートし、その普遍的なオーディオ理解能力を示しています。 Qwen-Audioは、従来のオーディオ言語モデルの制限を乗り越え、さまざまなオーディオタイプとタスクに対応します。以前の音声に関する作品とは異なり、Qwen-Audioは人間の話し声、自然音、音楽、歌を組み入れることで、異なる粒度のデータセットでの共同トレーニングを可能にします。このモデルは、タスク固有の変更なしで音声認識タスクなどで優れた成績を収めます。Qwen-Audio-Chatは、これらの機能を拡張し、人間の意図との整合性を図り、オーディオとテキストの入力からのマルチリンガルなマルチターンの対話をサポートし、堅牢かつ包括的なオーディオ理解を示します。 LLM（Language Language Models）は一般的な人工知能に優れていますが、オーディオの理解力に欠けます。Qwen-Audioは、30のタスクとさまざまなオーディオタイプをカバーするように事前学習のスケーリングを行い、干渉を軽減するマルチタスクフレームワークを利用します。Qwen-Audioは、タスク固有の調整なしでベンチマーク全体で印象的なパフォーマンスを発揮します。Qwen-Audio-Chatは、マルチターンの対話とさまざまなオーディオ中心のシナリオをサポートし、LLMの包括的なオーディオインタラクション能力を示しています。 Qwen-AudioとQwen-Audio-Chatは、普遍的なオーディオ理解と柔軟なヒューマンインタラクションのためのモデルです。Qwen-Audioは、オーディオエンコーダを最適化するマルチタスクの事前学習アプローチを採用し、同時に言語モデルの重みを固定します。一方、Qwen-Audio-Chatは、音声エンコーダの重みを固定しながら、言語モデルを最適化する教師ありの微調整を使用します。トレーニングプロセスには、マルチタスクの事前学習と教師付きの微調整が含まれます。Qwen-Audio-Chatは、多言語、マルチターンの対話をオーディオとテキストの入力からサポートする多目的なヒューマンインタラクションを実現し、その適応性と包括的なオーディオ理解を示しています。 Qwen-Audioは、ベンチマークのさまざまなタスクで驚異的なパフォーマンスを発揮し、タスク固有の調整なしでは先行研究を大幅に上回ります。AAC、SWRT ASC、SER、AQA、VSC、およびMNAのようなジョブでは、ベースラインを大幅に上回る結果を一貫して出します。このモデルは、CochlScene、ClothoAQA、VocalSoundで最新の成果を達成し、堅牢なオーディオ理解能力を示しています。さまざまな分析におけるQwen-Audioの優れたパフォーマンスは、チャレンジングなオーディオタスクの最新の成果を達成する能力と有能性を強調しています。 Qwen-Audioシリーズは、さまざまなオーディオタイプとタスクにわたる普遍的な理解を備えた大規模なオーディオ言語モデルを紹介します。これらのモデルは、マルチタスクトレーニングフレームワークを通じて開発され、異なるデータセットのさまざまなテキストラベルからの干渉を乗り越え、知識の共有を促進します。タスク固有の調整なしでベンチマーク全体で印象的なパフォーマンスを実現するQwen-Audioは、先行研究を上回ります。Qwen-Audio-Chatは、これらの機能を拡張し、マルチターンの対話を可能にし、さまざまなオーディオシナリオをサポートし、人間の意図との堅牢な整合性を示し、多言語の相互作用を促進します。 Qwen-Audioの将来の探索には、さまざまなオーディオタイプ、言語、および特定のタスクの能力を拡大することが含まれます。マルチタスクフレームワークの改良や、共同トレーニングにおける干渉問題に対処するための代替の知識共有アプローチの検討が可能です。タスク固有の微調整の調査はパフォーマンスを向上させることができます。新しいベンチマーク、データセット、およびユーザーフィードバックに基づいた継続的な更新は、普遍的なオーディオ理解を向上させることを目指しています。Qwen-Audio-Chatは、人間の意図との整合性を高め、多言語の相互作用をサポートし、動的なマルチターンの対話を可能にするために改良されます。

Learn more about Search Results 声