「静止画や無音ビデオからオーディオを取得する」

「静止画や無音ビデオからオーディオを抽出する方法」

「サイドアイ」のアイデアは、FBIで働くフリンジ科学の調査官チームを取り扱ったSF番組「FRINGE」のエピソードに触発されました。彼らは溶けたガラス板から音声を抽出します。¶ クレジット:Matthew Modoono/ノースイースタン大学

ノースイースタン大学で開発された機械学習ツールは、静止画や消音されたビデオから音声を取得することができます。

「サイドアイ」と呼ばれるこのツールは、ほとんどのスマートフォンのカメラに標準搭載されている画像安定化技術を活用して、カメラの外で話している人の性別や正確な言葉を特定することが可能です。

ノースイースタン大学のケビン・フーは、カメラレンズを液体中で吊り下げている小さなバネが微視的な振動を経験し、カメラレンズの近くで誰かが話すと光がほとんど感知できないほど微妙に曲げられると説明しました。

スマートフォンのほとんどで使用されているローリングシャッター方式の撮影方法を利用して、研究者たちはこれらの振動から音波の周波数を抽出することができます。

「サイドアイ」は音声がわずかに消音されてしまいますが、機械学習と特定の単語や音声のトレーニングを活用することで、多くの情報を抽出することができるようになります。フー氏はノースイースタン・グローバル・ニュースの一部から述べています。全文を見る

要約版の著作権 © 2023 SmithBucklin、ワシントンD.C.、アメリカ

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

このAIの論文は、テキスト変換グラフとして言語モデルパイプラインを抽象化するプログラミングモデルであるDSPyを紹介しています

言語モデル(LM)は、リサーチャーにデータを少なく使用し、より高度な理解レベルで自然言語処理システムを作成する能力を与...

AIニュース

現代の時代において、信頼性のある量子コンピューティングの鍵は猫キュービットなのか?

「環境雑音に対するキュビットの感度の高さから、量子コンピュータはエラーを起こしやすいです猫キュビットは、耐故障性のあ...

人工知能

「ChatGPTは、ソフトウェアエンジニアリングの質問の半分以上に対して誤った回答をします」

ChatGPTは、パデュー大学の研究者による調査によれば、517件のStack Overflowの質問のうち52%を誤って回答し、回答の77%が不...

データサイエンス

制限から自由:MoMAでのマシン幻覚の検証

Refik Anadol Studioのリードデータサイエンティスト、クリスチャン・バークは、MoMAで展示された「Unsupervised」展での仕事...

機械学習

「改善された推論のためのアナロジー提示による言語モデルの拡張」

近年、言語モデルは人間のようなテキストの理解と生成能力を見せるにおいて驚異的な優れた性能を示しています。しかし、これ...