Search Results コミュニティ

Google AI研究のTranslatotron 3：革新的な教師なし音声対音声翻訳アーキテクチャの発表

音声から音声への翻訳（S2ST）は、言語の壁を取り払うための画期的な技術ですが、並行音声データの不足がその進展を妨げてきました。既存のほとんどのモデルは、教師付きの設定を必要とし、合成されたトレーニングデータからの翻訳と音声属性の再構築の学習に苦労しています。音声から音声への翻訳では、Google AIの以前のモデルであるTranslatotron 1やTranslatotron 2など、Googleの研究チームによって直接言語間の音声を翻訳することを目指したモデルが注目されてきました。しかし、これらのモデルは教師付きのトレーニングと並行音声データに依存しているため、制約がありました。課題はそのような並行データの不足にあり、S2STモデルのトレーニングを複雑な課題にしています。ここで、Googleの研究チームが紹介した画期的な解決策であるTranslatotron 3が登場します。研究者たちは、音声翻訳のための公開データセットのほとんどがテキストから半合成または完全合成されたものであることに気付きました。これにより、翻訳の学習と音声属性の正確な再構築に関して、さらなるハードルが生じています。これに対応するために、Translatotron 3は、単一言語データのみから翻訳タスクを学習することを目指す非教師付きS2STの概念を導入することで、パラダイムシフトを実現します。このイノベーションにより、さまざまな言語ペア間での翻訳の可能性が拡大し、一時停止、話す速度、話者の身元などの非テキストの音声属性の翻訳能力が導入されます。 https://blog.research.google/2023/12/unsupervised-speech-to-speech.html Translatotron 3のアーキテクチャは、非教師付きS2STの課題に対処するために3つのキー要素で設計されています。 SpecAugmentを用いたマスク付きオートエンコーダとしてのプレトレーニング: 全体のモデルはマスク付きオートエンコーダとして事前にトレーニングされ、音声認識のためのシンプルなデータ拡張手法であるSpecAugmentを利用します。SpecAugmentは入力オーディオの対数メルスペクトログラム上で動作し、エンコーダの汎化能力を向上させます。多言語非教師付き埋め込みマッピングに基づくUnsupervised Embeddings (MUSE): Translatotron 3は、対称言語でトレーニングされたテクニックであるMUSEを活用し、ソース言語とターゲット言語の間で共有の埋め込み空間を学習します。この共有の埋め込み空間により、入力音声の効率的かつ効果的なエンコーディングが可能となります。バックトランスレーションによる再構築損失: モデルは、非教師付きのMUSE埋め込み損失、再構築損失、およびS2Sバックトランスレーション損失の組み合わせでトレーニングされます。推論中に、共有エンコーダは入力を多言語埋め込み空間にエンコードし、その後、ターゲット言語デコーダによってデコードされます。 Translatotron 3のトレーニング手法は、再構築とバックトランスレーション項を持つ自己符号化を含んでいます。最初の部分では、ネットワークはMUSE損失と再構築損失を使用して、入力を多言語埋め込み空間に自己符号化するようにトレーニングされます。このフェーズでは、ネットワークが意味のある多言語表現を生成することを目的としています。二番目の部分では、ネットワークはバックトランスレーション損失を使用して入力スペクトログラムを翻訳するようにトレーニングされます。この二番目のトレーニングの際に、潜在空間の多言語性を確保するために、MUSE損失と再構築損失が適用されます。両方のフェーズでエンコーダの入力にSpecAugmentが適用され、意味のあるプロパティが学習されるようになっています。 Translatotron 3の経験的評価は、基準のカスケードシステムに比べて会話の微妙なニュアンスを保護する点でその優位性を示しています。このモデルは、翻訳の品質、話者の類似性、音声の品質において優れた性能を発揮します。非教師付きの方法であるにもかかわらず、Translatotron…

「DynamoDB vs Cassandra：あなたのビジネスに適したデータベースを選ぶ」

イントロダクションデジタル時代において、データベースはどんなビジネスの基盤です。データベースはビジネスの運営や意思決定に必要な膨大なデータを格納、整理、管理する役割を果たします。適切なデータベースを選ぶことは、ビジネスの効率性、拡張性、収益性に大きな影響を与えることがあります。この記事では、DynamoDBとCassandraという2つの人気のあるデータベースについて、総合的な比較を提供し、より良い判断を支援します。 DynamoDBとは何ですか？ Amazon Web Services（AWS）は2012年にDynamoDBを導入し、完全に管理されたNoSQLデータベースサービスとして提供しました。DynamoDBは高速かつ予測可能なパフォーマンス、シームレスなスケーラビリティを提供することで広く採用されています。低遅延のデータアクセス、自動スケーリング、組み込みのセキュリティなど、DynamoDBはさまざまな業界で人気を集めています。ゲーム、広告技術、IoTなど、リアルタイムのデータ処理が求められる業界で特に使用されます。 Cassandraとは何ですか？ Facebookが2008年に開発したCassandraは、後にApacheでオープンソースとして公開されました。Cassandraは分散型のNoSQLデータベースであり、多数のコモディティサーバー上で大量のデータを処理し、単一障害点を持たない高い可用性を実現するよう設計されています。Cassandraの主な特徴には、直線的なスケーラビリティ、強力な障害耐性、柔軟なデータモデルなどがあります。Cassandraは金融、小売、通信などの分野で使用され、高い可用性と障害耐性が求められます。 DynamoDBとCassandraの詳細な比較 DynamoDBとCassandraを比較する際には、いくつかの要素が重要になります。側面 DynamoDB Cassandra データモデル – キーバリューストア、オプションのセカンダリインデックスをサポート– 柔軟なスキーマをサポート– JSONのようなドキュメントサポート – ワイドカラムストア、テーブル、行、列をサポート– 複雑なデータ型をサポート– クエリにはCQL（Cassandra Query Language）を使用…

スターリング-7B AIフィードバックからの強化学習によるLLM

UCバークレーの研究チームが、オープンソースの大規模言語モデル（LLM）であるStarling-7Bを導入しています。このモデルは人工知能フィードバック（RLAIF）からの強化学習を使用し、最新のGPT-4ラベル付きランキングデータセットであるNectarの力を活用しています。洗練された報酬トレーニングとポリシーチューニングパイプラインを組み合わせたStarling-7B-alphaは、言語モデルの性能において新たな基準を打ち立て、MT-Benchを除くすべてのモデルをしのぐ性能を発揮しています（ただし、OpenAIのGPT-4とGPT-4 Turboには及ばない）。強化学習の可能性教師あり微調整はチャットボットシステム開発において効果を示していますが、人間のフィードバックからの強化学習（RLHF）またはAIフィードバック（RLAIF）の可能性は限定的に調査されてきました。Zephyr-7BやNeural-Chat-7Bのような既存のモデルは、主導的な微調整（SFT）モデルと比較してRLHFの潜在能力を十分に示していませんでした。この問題に対処するため、研究チームはNectarを導入しました。これは、チャットに特化した高品質なランキングデータセットであり、183,000のプロンプトと3,800,000のペアワイズ比較からなります。このデータセットはRLHFの研究をより詳細に行うことを目的とし、さまざまなモデルから収集されたさまざまなプロンプトを提供しています。報酬モデルであるStarling-RM-7B-alphaおよびファインチューンされたLLMであるStarling-LM-7B-alphaのHuggingFaceでのリリースは、オープンソースAI研究の重要な進展を示しています。このモデルのMT-Benchスコアは、7.81から印象的な8.09に向上し、チャットボットの助けになる度合いを測るAlpacaEvalの向上も88.51％から91.99％に大幅に改善されました。他にも読む: 強化学習とは何か、そしてそれはどのように機能するのか（2023年）モデルの評価 Starling-7Bの評価には独自の課題があります。このLLMは、RLHF後の助けや安全性の機能が向上していることを示すMT-BenchおよびAlpacaEvalスコアの改善が証明されています。ただし、知識ベースの質問応答や数学、コーディングに関連する基本的な機能は一貫しているか、わずかな回帰を経験しています。直接チャットや匿名の比較のためにLMSYSチャットボットアリーナに組み込まれることで、人間の選好をテストするプラットフォームが提供されます。評価はまた、チャットモデルのベンチマークとしてのOpenLLMリーダーボードの使用における制限を強調し、Alpaca EvalとMT-Benchによるニュアンスのある評価の重要性を強調しています。合成優先データのGoodhartの法則考慮すべき重要な点は、合成された優先データのGoodhartの法則です。より高いMT-Benchスコアは、GPT-4による改善されたモデルの性能を示していますが、それが必ずしも人間の選好と相関するわけではありません。RLHFは主に応答スタイルを向上させることに寄与しており、特に助けや安全性の側面でスケーリングオンラインRL方法のポテンシャルを示しています。制限事項 Starling-7Bは優れた性能を持っていますが、推論や数学に関わるタスクには苦労しています。また、ジェイルブレイキングのプロンプトへの感受性や出力の冗長さなどの制限も認識されています。研究チームは改善のためにコミュニティとの協力を求めており、RLHFを使用したオープンデータセット、報酬モデル、言語モデルの向上に取り組んでいます。私たちの意見 RLAIFアプローチと綿密なデータセット作成を備えたStarling-7Bは、言語モデルにおける強化学習のポテンシャルを示すものです。課題や制約はまだ残っていますが、改善への取り組みと大規模なコミュニティとの協力により、Starling-7BはAI研究の進展する風景において輝く存在となっています。RLHFメカニズムの洗練とAI安全性研究の最前線への貢献について、さらなるアップデートをお楽しみに。

「AppleがオープンソースのMLフレームワーク「MLX」を発表」

機械学習の分野における協力とイノベーションを促進する重要な進展として、AppleはMLXを発表しました。MLXは、Appleの優れた機械学習研究チームによって開発された、Appleシリコン上での機械学習を特に対象としたオープンソースの配列フレームワークです。MLXは、研究者のための洗練された体験を約束し、モデルのトレーニングと展開の効率を向上させます。馴染みのあるAPIと高度なモデル構築馴染みのあるAPIと高度なモデル構築MLXは、開発者にとって馴染みのあるNumPyに密接に組み合わされたPython APIを導入し、開発の簡便性を確保しています。同時に、その完全な機能を備えたC++ APIはPythonバージョンと一致し、多様な開発環境を提供します。mlx.nnやmlx.optimizersなどの高レベルのパッケージは、PyTorchの慣習に従ってモデル構築を簡略化します。確立されたフレームワークとの整合性により、開発者はスムーズな移行が可能です。機能の拡張 MLXの特長の一つは、構成可能な関数変換の導入です。この革新的なアプローチにより、自動微分、ベクトル化、計算グラフの最適化が可能となります。これらの機能を組み込むことで、開発者は効率的にモデルの能力を向上させることができます。遅延計算による効率化 MLXの設計の中心には効率があり、計算が遅延されるようにエンジニアリングされています。実際的には、配列は必要な時にのみ具現化され、計算効率が最適化されます。このアプローチにより、リソースの節約だけでなく、機械学習プロセス全体の速度と応答性も向上します。ダイナミックグラフ構築とマルチデバイスサポート MLXは、関数引数の形状の変更によって引き起こされる遅いコンパイルを排除するために、ダイナミックグラフ構築を採用しています。この動的なアプローチにより、デバッグプロセスが簡素化され、開発全体の経験が向上します。さらに、MLXはCPUやGPUなど、さまざまなデバイスでシームレスな操作をサポートしています。この柔軟性により、開発者は特定の要件に最適なデバイスを選択する自由があります。統一メモリモデル従来のフレームワークとは異なり、MLXは統一メモリモデルを導入しています。MLX内の配列は共有メモリに存在し、データの移動を必要とせずに異なるデバイスタイプ間での操作が可能です。この統一アプローチにより、全体的な効率が向上し、よりスムーズで効率的な操作が実現されます。関連記事：元Apple社員がデスクトップに生成AIをもたらす方法私たちの意見結論として、Appleのオープンソース化は機械学習コミュニティへの重要な貢献です。NumPy、PyTorch、Jax、ArrayFireなどの確立されたフレームワークの優れた機能を組み合わせることで、MLXは開発者に頑健で多機能なプラットフォームを提供します。トランスフォーマーランゲージモデルのトレーニング、大規模テキスト生成、ステーブルディフュージョンを使用した画像生成、OpenAIのWhisperを使用した音声認識などの例で示されるフレームワークの機能は、さまざまなアプリケーションにおけるそのポテンシャルを裏付けています。 MLXはPyPiで入手可能であり、「pip install mlx」を通じた簡単なインストールプロセスにより、Appleは機械学習の領域でのアクセシビリティと協力の促進にコミットしています。開発者がこの可能性を探求する中で、Appleシリコン上の機械学習の領域はエキサイティングな進展を迎えることになります。

「プロダクションに適したRAGアプリケーションの12のチューニング戦略ガイド」

「実稼働のための検索増強生成（RAG）アプリケーションのパフォーマンス向上に調整できる戦略とパラメータ」

「イーロン・マスクのxAI、10億ドルの資金調達を目指す」

大胆な動きを見せ、人工知能の世界に大きな変革をもたらすことを示すエロン・マスクのxDFが、1億ドルの資金を確保するミッションに取り組んでいますすでに有望な軌道に乗っており、証券取引委員会への最近の申請によれば、xDFは約1億3,500万ドルを集めることに成功しましたxDFは以前に発表され、[…]

「クリスマスラッシュ」3Dシーンが今週の「NVIDIA Studio」でホリデーのチアをもたらします」

編集者の注記：この投稿は、我々の週刊「In the NVIDIA Studio」シリーズの一部であり、特集アーティストを称え、創造的なヒントやトリックを提供し、そしてNVIDIA Studioテクノロジーが創造的なワークフローを向上させる方法をデモンストレーションしています。友達や家族、そして今週のIn the NVIDIA Studioアーティスト、3Dエキスパートボゾ・バロブによる美しく描かれたサンタのアニメーションを楽しむ季節です。今週は、驚くべきマイルストーンも達成されました。NVIDIA RTXパワードのゲームとクリエイティブアプリが500以上、レイトレーシングやNVIDIA DLSSなどのAIパワードテクノロジーに対応して利用できます。Adobe Creative Cloudスイート、Autodesk Maya、Blender、Blackmagic DesignのDavinci Resolve、OBS、Unityなど、最も人気のあるアプリ120以上がRTXを使用してワークフローを数倍に加速し、新しいAIツールと機能を提供し、リアルタイムのレイトレーシングプレビューを可能にしています。これを祝して、NVIDIA GeForceではギフトカード、希少な＃RTXONキーボードキーキャップなどをプレゼントするキャンペーンを開催しています。参加方法については、GeForceのFacebook、Instagram、TikTok、またはX（以前のTwitter）をフォローしてください。 💚 THANK YOU FOR 500…

「アナコンダのCEO兼共同創業者、ピーターウォングによるインタビューシリーズ」

ピーター・ワンはAnacondaのCEO兼共同創設者ですAnaconda（以前はContinuum Analyticsとして知られる）を設立する前は、ピーターは15年間にわたり、3Dグラフィックス、地球物理学、大規模データシミュレーションと可視化、金融リスクモデリング、医療画像など、さまざまな分野でソフトウェアの設計と開発に取り組んできましたPyDataコミュニティとカンファレンスの創設者として、 […]

小さな言語モデル（SLM）とその応用について知るべきすべてのこと

大型言語モデル（LLM）は、GPT、PaLM、LLaMAなど、その驚異的な能力により、多くの関心を集めています。自然言語処理、生成、理解の力を活用してコンテンツの生成、質問への回答、テキストの要約などを行うことができるため、LLMは最近の話題となっています。ただし、大モデルのトレーニングとメンテナンスの高い費用、特定の目的にカスタマイズする難しさは、彼らにとって課題となっています。OpenAIのChatGPTやGoogle Bardなどのモデルは、トレーニングデータの大量、莫大な記憶容量、複雑なディープラーニングフレームワーク、膨大な電力など、膨大なリソースを必要とします。小型言語モデルとは何ですか？その代替として、小型言語モデル（SLM）が登場し、より強力かつ柔軟になってきました。小型言語モデルは、小型のニューラルネットワークサイズ、パラメータ数、トレーニングデータのボリュームを特徴としています。LLMよりもメモリと処理能力が少なくて済むため、オンプレミスおよびオンデバイスの展開に最適です。 SLMは、リソース制約がある状況で有用なオプションです。その『小さい』という用語は、モデルの効率性とアーキテクチャの両方に言及しています。軽量設計のおかげで、SLMはパフォーマンスとリソース使用量をバランスさせることで、さまざまなアプリケーションに柔軟な解決策を提供します。小型言語モデルの重要性効率的：トレーニングおよび展開の観点から見ると、SLMはLLMよりも効率的です。コンピューティングコストを削減したい企業は、よりパワフルな機器で作業することができ、トレーニングに必要なデータも少なくて済むため、多額の費用が節約できます。透明性：洗練されたLLMと比較して、小型言語モデルは通常よりも透明で説明可能な動作を示します。透明性により、モデルの意思決定プロセスを理解し、監査することが容易になり、セキュリティ上の欠陥を見つけて修正することが容易になります。正確性：小型言語モデルは、その小さなスケールのため、事実に基づいた正確な情報を提供し、偏見を表示しにくくなっています。特定のデータセットに対してターゲットトレーニングを行うことにより、異なる企業の基準に合致する正確な結果を一貫して生成することができます。セキュリティ：セキュリティに関しては、小型言語モデルはより大型のモデルよりも優れた機能を持っています。SLMは、コードベースが小さく、パラメータ数が少ないため、悪意のある行為者に対する攻撃面の可能性が低くなります。トレーニングデータへの制御は、関連するデータセットを選択し、悪意のあるデータや偏ったデータに関連するリスクを減らすことで、セキュリティをさらに強化するのに役立ちます。小型言語モデルの例 DistilBERTは、効率を損なうことなくパフォーマンスを保持するBERTのより速く、コンパクトなバージョンで、NLPを変革しています。 MicrosoftのOrca 2は、合成データを使用してMetaのLlama 2を洗練させ、特にゼロショットの推論タスクにおいて競争力のあるパフォーマンスレベルを達成しています。 Microsoft Phi 2は、適応性と効率を重視したトランスフォーマーベースの小型言語モデルであり、論理的推論、常識、数学的推論、言語理解などの能力を示します。 GoogleのBERTモデルの改良版（BERT Mini、Small、VoAGI、Tinyなど）は、さまざまなリソース制約に対応するために設計されています。これらのバージョンは、Mini（4.4万パラメータ）からVoAGI（4100万パラメータ）まで、さまざまなアプリケーションに柔軟性を提供します。小型言語モデルの実践的な応用顧客サービスの自動化：SLMは、俊敏性と効率性の向上のため、顧客サービスの自動化に最適です。マイクロモデルは、ルーチンの問題や顧客の問い合わせを効率的に処理することができ、人間のエージェントがより個別化された対応に集中できるようにします。製品開発のサポート：エッジモデルは、アイデアの生成、機能のテスト、および顧客の需要予測に役立ち、製品開発に不可欠です。…

1. データサイエンティストになるべきでない理由 2. データサイエンティストの仕事の種類が合わない 3. 高度な技術と数学的なスキルが必要 4. 長時間の作業とプレッシャーに耐える必要がある 5. プログラミングが苦手な人には適していない 6. 単調な作業が多い場合がある 7. ビジネスとの連携が重要な役割を果たす場合もある Note The translation provided assumes that the text is asking for 7 reasons why you

「データサイエンスは本当にあなたにとって適切なキャリア選択ですか？それは状況によりますだからこそ、私たちはデータプロフェッショナルの洞察を含んだ主観的なガイドをまとめました」

Career Advice

Learn more about Search Results コミュニティ - Page 12