人間と同じように聞くAIモデル「SALMONN」

『人間のように聞くAIモデル「SALMONN」』

人間のような感覚に向けた道のりは続きます

人々は、世界で正しく機能するための聴覚の重要性をしばしば過小評価しています。そしてさらに重要なことは、学習の必須ツールとしての聴覚です。

有名なヘレン・ケラーはかつて言った、「盲目は私たちを物事から隔てますが、聾は人々から隔てます」という言葉があります。そして、この女性は盲目でありながら聾であったことを忘れてはいけません。

したがって、AIが求められる優れた「存在」となるためには、聴覚を不可欠な要件と見なすのは当然のことです。

• AVCLabsフォトエンハンサーAIのレビュー：最高のフォトエンハンサー？
• ギル・ジェロン、Orca SecurityのCEO＆共同創設者-インタビューシリーズ
• 「PythonでゼロからGANモデルを構築およびトレーニングする」

残念ながら、現在のAIシステムは聴覚には苦手です。

はい、OpenAIのWhisperモデルを活用する新しいChatGPTバージョンは、音声を非常にうまく理解するし、他のモデルはオーディオイベントを非常に効率的にキャプチャします。

しかし、聴覚はそれだけではありません。私たちは受け取ったさまざまな音声信号を組み合わせ、それらを周囲で起こっていることの文脈として適用する必要があります。

この特徴が私たち人間を形作っており、私たちは音声を理解し、ランダムなノイズをエンコードし、音楽を楽しむことによって、「一般的な聴覚」をAIが人間から模倣できない最後の特徴の一つにしました。

そして今、TikTokの企業ByteDanceが作成した新しいモデルがこのビジョンに挑戦しています。

SALMONNは、一般的な聴覚のための初のマルチモーダルオーディオ-言語AIシステムであり、音声、オーディオイベント、音楽という3つの主な音響タイプからランダムな音声信号を処理できるモデルです。

さらに、後ほど見るように、オーディオストーリーテリングやオーディオ音声の協同推論など、真にユニークでかつ前例のない能力を披露しています。

そして今日、私たちはその働き方を理解します。

この記事は、私の無料週刊ニュースレターTheTechOasisで数日前に初出されました。

AIの忙しい世界に常に最新情報になりながら、行動を起こすためのインスピレーションを感じたり、少なくとも将来に備えて十分な準備をするためには、これが必要です。

🏝以下に購読🏝して、同僚の中でAIのリーダーになり、VoAGIなど他のプラットフォームには存在しないコンテンツを受け取ることができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!