Learn more about Search Results MPT - Page 83

ビジュアルキャプション：大規模言語モデルを使用して、動的なビジュアルを備えたビデオ会議を補完する

Google Augmented Realityのリサーチサイエンティスト、Ruofei DuとシニアスタッフリサーチサイエンティストのAlex Olwalが投稿しました。 ライブキャプションやノイズキャンセリングなどの機能により、ビデオ会議の最近の進歩により、リモートビデオ通信は大幅に改善されました。しかし、複雑で微妙な情報をより良く伝えるために、動的な視覚的拡張が役立つ場面があります。たとえば、日本食レストランで何を注文するか話し合う場合、友達があなたが「すき焼き」を注文することに自信を持つのに役立つビジュアルを共有することができます。また、最近の家族旅行について話しているときに、個人的なアルバムから写真を見せたい場合があります。 ACM CHI 2023 で発表された「Visual Captions: Augmenting Verbal Communication With On-the-fly Visuals」では、私たちは、口頭の手がかりを使用してリアルタイムのビジュアルを使って同期ビデオ通信を拡張するシステムを紹介します。私たちは、この目的のためにキュレーションしたデータセットを使用して、オープンボキャブラリーの会話で関連するビジュアルを積極的に提案するために、大規模な言語モデルを微調整しました。私たちは、実時間の転写とともに拡張されたコミュニケーションの急速なプロトタイピングに設計されたARChatプロジェクトの一部としてVisual Captionsをオープンソース化しました。 Visual Captionsは、リアルタイムのビジュアルで口頭コミュニケーションを容易にします。このシステムは、リアルタイムの音声からテキストへの転写でよく見られる誤りにも対応しています。たとえば、文脈から外れて、転写モデルは「pier」という単語を「pair」と誤解しましたが、Visual Captionsはそれでもサンタモニカのピアの画像を推奨します。 動的なビジュアルで口頭コミュニケーションを拡張するための設計空間 私たちは、ソフトウェアエンジニア、研究者、UXデザイナー、ビジュアルアーティスト、学生など、様々な技術的および非技術的なバックグラウンドを持つ10人の内部参加者を招待し、潜在的なリアルタイムビジュアル拡張サービスの特定のニーズと欲求を議論しました。2つのセッションで、私たちは想定されるシステムの低保守性のプロトタイプを紹介し、その後、既存のテキストから画像へのシステムのビデオデモを示しました。これらの議論により、以下のようにD1からD8とラベル付けされた8つの次元の設計空間が生まれました。 ビジュアル拡張は、会話と同期または非同期に行われる場合があります（D1：時間）、話題の表現と理解の両方に使用できる場合があります（D2：主題）、さまざまなビジュアルコンテンツ、ビジュアルタイプ、ビジュアルソースを使用して適用できる場合があります（D3：ビジュアル）。このような視覚的拡張は、ミーティングの規模（D4：スケール）や、共同設置またはリモート設定でミーティングが行われているかどうか（D5：スペース）によって異なる場合があります。これらの要因はまた、ビジュアルが個人的に表示されるべきか、参加者間で共有されるべきか、あるいはすべての人に公開されるべきかを決定するのにも影響します（D6：プライバシー）。参加者はまた、会話をしながらシステムとやり取りするさまざまな方法を特定しました（D7：起動）。たとえば、人々は「プロアクティブ」の異なるレベルを提案しました。これは、ユーザーがモデルがイニシアチブを取る程度を示します。最後に、参加者は、入力に音声やジェスチャーを使用するなど、異なる相互作用方法を想定しました（D8：相互作用）。…

多言語での音声合成の評価には、SQuIdを使用する

Googleの研究科学者Thibault Sellamです。 以前、私たちは1000言語イニシアチブとUniversal Speech Modelを紹介しました。これらのプロジェクトは、世界中の何十億人ものユーザーに音声および言語技術を提供することを目的としています。この取り組みの一部は、多様な言語を話すユーザー向けにVDTTSやAudioLMなどのプロジェクトをベースにした高品質の音声合成技術を開発することにあります。 新しいモデルを開発した後は、生成された音声が正確で自然であるかどうかを評価する必要があります。コンテンツはタスクに関連し、発音は正確で、トーンは適切で、クラックや信号相関ノイズなどの音響アーティファクトはない必要があります。このような評価は、多言語音声システムの開発において大きなボトルネックとなります。 音声合成モデルの品質を評価する最も一般的な方法は、人間の評価です。テキストから音声（TTS）エンジニアが最新のモデルから数千の発話を生成し、数日後に結果を受け取ります。この評価フェーズには、聴取テストが含まれることが一般的で、何十もの注釈者が一つずつ発話を聴取して、自然な音に聞こえるかどうかを判断します。人間はテキストが自然かどうかを検出することでまだ敵わないことがありますが、このプロセスは実用的ではない場合があります。特に研究プロジェクトの早い段階では、エンジニアがアプローチをテストして再戦略化するために迅速なフィードバックが必要な場合があります。人間の評価は費用がかかり、時間がかかり、対象言語の評価者の可用性によって制限される場合があります。 進展を妨げる別の障壁は、異なるプロジェクトや機関が通常、異なる評価、プラットフォーム、およびプロトコルを使用するため、apple-to-applesの比較が不可能であることです。この点で、音声合成技術はテキスト生成に遅れを取っており、研究者らが人間の評価をBLEUや最近ではBLEURTなどの自動評価指標と補完して長年にわたって利用してきたテキスト生成から大きく遅れています。 「SQuId: Measuring Speech Naturalness in Many Languages」でICASSP 2023に発表する予定です。SQuId（Speech Quality Identification）という600Mパラメーターの回帰モデルを紹介します。このモデルは、音声がどの程度自然かを示します。SQuIdは、Googleによって開発された事前学習された音声テキストモデルであるmSLAMをベースにしており、42言語で100万件以上の品質評価をファインチューニングし、65言語でテストされました。SQuIdが多言語の評価において人間の評価を補完するためにどのように使用できるかを示します。これは、今までに行われた最大の公開努力です。 SQuIdによるTTSの評価 SQuIdの主な仮説は、以前に収集された評価に基づいて回帰モデルをトレーニングすることで、TTSモデルの品質を評価するための低コストな方法を提供できるということです。このモデルは、TTS研究者の評価ツールボックスに貴重な追加となり、人間の評価に比べて正確性は劣るものの、ほぼ即時に提供されます。 SQuIdは、発話を入力とし、オプションのロケールタグ（つまり、”Brazilian Portuguese”や”British English”などのローカライズされた言語のバリアント）を指定することができます。SQuIdは、音声波形がどの程度自然に聞こえるかを示す1から5までのスコアを返します。スコアが高いほど、より自然な波形を示します。 内部的には、モデルには3つのコンポーネントが含まれています：（1）エンコーダー、（2）プーリング/回帰層、および（3）完全接続層。最初に、エンコーダーはスペクトログラムを入力として受け取り、1,024サイズの3,200ベクトルを含む小さな2D行列に埋め込みます。各ベクトルは、時間ステップをエンコードします。プーリング/回帰層は、ベクトルを集約し、ロケールタグを追加し、スコアを返す完全接続層に入力します。最後に、アプリケーション固有の事後処理を適用して、スコアを再スケーリングまたは正規化して、自然な評価の範囲である[1、5]の範囲内に収まるようにします。回帰損失で全モデルをエンドツーエンドでトレーニングします。…

GPT-4は、誤情報を引き起こすプロンプトインジェクション攻撃に対して脆弱です

ChatGPTには、信頼性の低い事実を提供する可能性があるかもしれない漏れがあるかもしれません

VoAGIニュース、5月31日：データサイエンスチートシートのためのバード•ChatGPT、GPT-4、Bard、その他のLLMを検出するためのトップ10ツール

データサイエンスのためのBardチートシート• ChatGPT、GPT-4、Bard、その他のLLMを検出するためのトップ10ツール•2023年に知っておく必要があるデータ分析ツール•AIがデータサイエンスを食いつぶす• GPTモデルに深く入り込む：進化と性能比較

プロンプトエンジニアリングの芸術：ChatGPTのデコード

OpenAIとDeepLearning.AIのコースを受講して、AIとの相互作用の原理と実践をマスターする

VoAGIニュース、6月7日：データサイエンス面接チートシートのためのChatGPT • 特定のデータロール向けのプログラミング言語

ChatGPTによるデータサイエンス面接のチートシート • 特定のデータロールに対するプログラミング言語 • データサイエンティストのための10のJupyterノートブックのヒントとトリック • PandasGUIでデータ分析を革新する • OpenAIのWhisper APIによるトランスクリプションと翻訳

GPT4Allは、あなたのドキュメント用のローカルChatGPTであり、無料です！

あなたのラップトップにGPT4Allをインストールし、AIにあなた自身のドメイン知識（あなたのドキュメント）について尋ねる方法... そして、それはCPUのみで動作します！

無料のフルスタックLLMブートキャンプ

LLMについて詳しく学び、クールなLLMパワードアプリケーションを作成したいですか？この無料のフルスタックLLMブートキャンプが必要なすべてです！

データ解析の刷新：OpenAI、LangChain、LlamaIndexで簡単に抽出

はじめに OpenAIのAPIは、OpenAIによって開発されたもので、現在利用可能な最も高度な言語モデルの一部にアクセスできます。このAPIを活用し、LangChain & LlamaIndexを使用することで、開発者はこれらのモデルのパワーを自分たちのアプリケーション、製品、またはサービスに統合することができます。わずか数行のコードを使うだけで、OpenAIの言語モデルの豊富な知識と能力を活用し、エキサイティングな可能性が広がります。 OpenAIの言語モデルのコアは、Large Language Model、略してLLMにあります。LLMは、人間らしいテキストを生成し、複雑な言語構造の文脈を理解することができます。多様なデータを大量にトレーニングすることで、LLMは、様々なトピックにわたって文脈に即したテキストを理解し、生成するという顕著な能力を獲得しています。 学習目標 この記事では、次のエキサイティングな可能性を探求します。 OpenAIのAPIをLangChainとLlamaIndexと組み合わせて使用し、複数のPDFドキュメントから貴重な情報を簡単に抽出する方法。 異なるデータ構造で値を抽出するためのプロンプトのフォーマット方法。 効率的な検索と文書の取得のためにGPTSimpleVectorIndexを使用する方法。 この記事はData Science Blogathonの一環として公開されました。 LlamaIndexとLangChain これら2つのオープンソースライブラリを使用して、大規模言語モデル（LLMs）のパワーを活用したアプリケーションを構築できます。LlamaIndexは、LLMsと外部データソースの間のシンプルなインターフェースを提供し、LangChainは、LLMで動作するアプリケーションを構築および管理するためのフレームワークを提供します。LlamaIndexとLangChainの両方が開発中であるにもかかわらず、アプリケーションの構築方法を革新する可能性があります。 必要なライブラリ まず、必要なライブラリをインストールしてインポートしましょう。 !pip install llama-index==0.5.6 !pip install…

カートゥーンキャラクターの中間プロンプト

Midjourneyは、芸術的なスキルや背景がなくても、漫画キャラクターを作成するのに役立つ素晴らしいツールです

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us