Search Results A

このAI論文では、新しい個別化留留過程を紹介していますクローズドソース相手からの適応的な学習により、オープンソースLLMsの強化を行います

シンガポールの南洋理工大学とセールスフォース・リサーチの研究者らは、学生モデルの初期の課題解決の試みと教師モデルによる適応的な改善に続くコード生成タスクのための個別の蒸留プロセスを紹介しています。この手法は、データのたった三分の一であっても、標準の蒸留方法を上回る優れた結果を提供します。パーソナライズされた蒸留は、CodeGen-mono-16BとStarCoderの2つのコード生成モデルでテストされ、HumanEvalの評価において大幅なパフォーマンスの向上をもたらしました。本研究は、現代の教育原則に触発された、コード生成タスクのためのパーソナライズド蒸留を紹介しています。このプロセスでは、学生モデルが初めに課題に取り組み、教師モデルから適応的な改善を受けます。パーソナライズド蒸留は、常に標準的な手法を上回り、データの三分の一でより良い結果を達成します。経験的研究は、学生の学習にカスタマイズされたラベルの効果を確認しています。この手法は、CodeGen-mono-16BおよびStarCoderを含むオープンソースの事前学習モデルのパフォーマンスを大幅に向上させ、コード生成タスクの能力を蒸留します。この手法は、ChatGPTやGPT-4などの閉じられたソースの大規模言語モデル（LLM）の利用可能性、コスト、倫理、データプライバシーの懸念点に対処します。個別化された学習原則に触発され、コード生成タスクのためのパーソナライズド蒸留を提案しています。この手法では、学生モデルがタスクに取り組み、実行フィードバックを受け取り、教師モデルのガイダンスをもとに改良します。パーソナライズド蒸留は、標準的な手法を上回り、少ないデータ例で優れた結果を達成し、閉じられたソースのLLMの機能をより小さいオープンソースのLLMに蒸留する解決策を提供します。本研究では、標準的な蒸留（STAND）とパーソナライズド蒸留（PERsD）および入力パーソナライズド蒸留（INPD）の2つのアプローチを比較しました。パープーズDでは、学生が最初にタスクに取り組み、教師からカスタマイズされたフィードバックを受け取る方法を採用しています。データは、事前学習のために、code-alpacaとMBPPのシードタスクから収集されました。パフォーマンスは、pass@1やHumanEvalなどの指標を使用して、メソッドの効果を評価しました。パーソナライズド蒸留は、コード生成タスクにおいてINPDやSTANDなどの標準的な蒸留手法を一貫して上回り、データの三分の一で大幅な改善を実現しました。データが3倍少なかったとしても、パーソナライズド蒸留は16のうち15回でSTANDを上回り、カスタマイズされたラベルの効果的な品質を示しています。PERsD-refineやPERsD-combineモデルにおいて、多段階の推論が回答品質を向上させ、実行エラーフィードバックに基づいて解決策を改善する能力を示しています。パーソナライズされていないラベルとパーソナライズされたラベルを混ぜることは一般的に悪影響を与え、カスタマイズされたタグの高い品質を強調しています。 PERsDは、学生モデルの能力にラベル付けされたデータをカスタマイズする方法を紹介し、より効果的な学習を実現します。PERsDは、HumanEvalとMBPPのデータセットにおいて、コード生成で標準的な蒸留を上回ります。これは、より高いデータ品質、マルチラウンドの蒸留、実行フィードバックによるセルフリファクションの利点によるものです。カスタマイズされたラベルの効果を強調するため、PERsDのバリアントは一貫して非パーソナライズバージョンを上回ります。この手法は、閉じられたソースのLLMの能力をオープンソースモデルに蒸留するという、モデルの蒸留のさらなる進展を示すものです。ファインチューニング中にデータを動的に収集するためのオンラインパーソナライズド蒸留を調査し、学生モデルをより向上させる可能性を探求してください。パーソナライズされた蒸留のスケーラブルな方法を開発し、人間の注釈に頼らない方法を提案し、パーソナライズ化されたラベルと非パーソナライズ化されたラベルを混ぜることの影響という制限に対処してください。パーソナライズド蒸留を他の領域に拡張し、その効果を評価してください。また、閉じられたソースのLLMの能力をオープンソースモデルに蒸留するために使用することも検討し、モデルの蒸留をさらに進めてください。

「PyMC-Marketingによる顧客のライフタイムバリュー予測」

要約：顧客生涯価値（CLV）モデルは、顧客分析において価値のある顧客を特定するための重要な技術ですCLVを無視すると、過剰な投資が生じる可能性があります...

Amazon SageMakerの自動モデルチューニングを使用したハイパーパラメータ最適化の高度なテクニックを探求してください

「高性能な機械学習（ML）ソリューションを作るためには、トレーニングパラメータであるハイパーパラメータを探索し最適化することが重要ですハイパーパラメータは、学習率、バッチサイズ、正規化の強度など、特定のモデルやタスクに応じて調整するためのつまみやダイヤルですハイパーパラメータの探索は、系統的に変化させながら行われます...」

「声AIがLLVCを発表：効率と速度に優れた画期的なリアルタイム音声変換モデル」

Koe AIの研究チームが、リアルタイムの任意の1つの声変換を可能にする、ultra-low latencyとminimal resource consumptionを特徴としたLLVC（Low-latency, Low-resource Voice Conversion）モデルを紹介しました。このモデルは、一般的な消費者向けCPU上で非常に高速に効率的に動作します。この研究は、LLVCのオープンソースのサンプル、コード、事前トレーニング済みのモデルの重みへのアクセスを広く提供しています。 LLVCモデルは、ジェネレータとディスクリミネータからなりますが、推論時にはジェネレータのみが使用されます。評価には、LibriSpeechのテストクリーンデータを使用し、Amazon Mechanical TurkのMean Opinion Scoresを用いて、自然さと目標話者の類似性を評価します。さらに、計算効率の向上のために、より大きなティーチャーモデルがより小さなスチューデントモデルをガイドする知識蒸留についても説明されています。声変換は、話し方を他の話者のスタイルに合わせながら、元の内容やイントネーションを維持することを意味します。リアルタイムの声変換を実現するには、リアルタイム以上の速度、低遅延、将来のオーディオコンテキストへのアクセスの制限を持つことが必要です。既存の高品質の音声合成ネットワークは、これらの課題により適したものにする必要があります。Waveformerアーキテクチャに根ざしたLLVCは、リアルタイムの声変換のユニークな要求に対応するために設計されています。 LLVCは、低遅延とリソースの使用効率を特徴とするGAN構造と知識蒸留を採用して、非常に効率的な動作を実現しています。カスタマイズされたDCCエンコーダーとトランスフォーマーデコーダーアーキテクチャを統合しています。LLVCは、さまざまな話者の声を特定のターゲット話者に似せるために変換する、並列データセットでトレーニングされています。モデルの出力と合成ターゲットの音声の知覚的な違いを減らすことを中心に行われます。 LLVCは、16kHzのビットレートでsub-20msの遅延を実現し、消費者向けCPU上ではほぼ2.8倍の実時間処理を超える成果を収めました。LLVCは、オープンソースの声変換モデルの中で、最も低いリソース消費量と遅延率を誇ることで、ベンチマークを確立しています。モデルの品質と自己類似性を評価するために、LibriSpeechのテストクリーンファイルからN秒のクリップを使用してモデルのパフォーマンスを評価します。比較では、CPU推論の遅延が最小のNo-F0 RVCとQuickVCと競合します。本研究は、CPU上でのリアルタイムの任意の1つの声変換に焦点を当てており、異なるハードウェアでのモデルのパフォーマンスや既存のモデルとの比較には触れていません。評価は、遅延とリソース使用量に限定されており、音声の品質や自然さに関する分析は行われていません。詳細なハイパーパラメータの分析の欠如は、特定のニーズに対する再現性と微調整に支障をきたします。本研究は、スケーラビリティ、OSの互換性、言語やアクセントに関する課題についても議論されていません。まとめると、この研究は、LLVCを通じて、消費者向けCPU上でリアルタイムに動作する、低遅延かつリソース効率の良い声変換の実現可能性を確立しています。LLVCは、専用のGPUを必要とせず、音声合成、音声匿名化、声のアイデンティティ変更などの実用的なアプリケーションに適用できます。ジェネレーティブ対抗アーキテクチャと知識蒸留の使用により、オープンソースの声変換モデルの新たな標準を設定し、効率を重視しています。LLVCは、単一入力話者データの微調整による個別の声変換の可能性を提供します。多言語音声やノイズのある音声を含めるトレーニングデータの拡充は、モデルのさまざまな話者への適応性を向上させる可能性があります。

Amazon ComprehendとLangChainを使用して、生成型AIアプリケーションの信頼性と安全性を構築しましょう

私たちは、産業全体で生成型AIアプリケーションを動かすための大規模言語モデル（LLM）の活用が急速に増加していることを目撃していますLLMsは、創造的なコンテンツの生成、チャットボットを介した問い合わせへの回答、コードの生成など、さまざまなタスクをこなすことができますLLMsを活用してアプリケーションを動かす組織は、ジェネラティブAIアプリケーション内の信頼性と安全性を確保するために、データプライバシーについてますます注意を払っていますこれには、顧客の個人情報（PII）データを適切に処理することが含まれますまた、不適切で危険なコンテンツがLLMsに拡散されないように防止し、LLMsによって生成されたデータが同じ原則に従っているかどうかを確認することも含まれますこの記事では、Amazon Comprehendによって可能になる新機能について議論し、データプライバシー、コンテンツの安全性、既存のジェネラティブAIアプリケーションにおける迅速な安全性を確保するためのシームレスな統合を紹介します

「読んだものに関してのみ話すこと：LLM（Language Model）は事前学習データを超えて一般化できるのか？」

「インコンテキスト学習は、大規模言語モデルを成功させた秘密の一つであり、しかし今日でも多くの点が未解明ですこの信じられないほどの能力の限界は何なのでしょうか...」

Google Translateが同音異義語を認識する方法を教えた方法

Google Translateのニューラルモデルがベースとベースの違いを理解する方法

「Amazon SageMaker Canvasを使用して、コードを1行も書かずに機械学習を利用しましょう」

最近、テキストや画像の形式でのデータを使用して予測を行うために機械学習（ML）を使用することは、深層学習モデルの作成や調整に広範なMLの知識が必要でしたしかし、今日では、MLはビジネス価値を創出するためにMLモデルを使用したいユーザーにとってよりアクセスしやすくなっていますAmazon SageMakerを使用することで[…]

トリニティライフサイエンスの社長兼CEOであるレスリー・オーン氏は、ライフサイエンスイノベーション、データ駆動型戦略、製薬業界におけるAI、エグゼクティブリーダーシップ、戦略的取引、ブランド計画、エグゼクティブのワークライフバランスに関して広く知識を持つ専門家です

この独占インタビューで私たちと彼女の洞察を共有してくれたTrinity Life Sciencesの社長兼CEOであるレスリー・オーン氏に感謝します Trinity Life Sciencesは、ライフサイエンス産業における戦略的なソリューションを提供する最先端の企業ですセクターでの幅広い経験を持つレスリー氏は、最新の技術革新について明かしてくれます...トリニティ・ライフサイエンスの社長兼CEOであるレスリー・オーン氏-ライフサイエンスのイノベーション、データ駆動型戦略、製薬業界のAI、エグゼクティブリーダーシップ、戦略的な取引、ブランド計画、エグゼクティブのワークライフバランス続きを読む»

時間を遡ってみよう：AIが古代ローマのなぞなぞを解き明かす

ソーシャルメディアを席巻するウイルス性のトレンドのおかげで、私たちは今や男性の中にはローマ帝国のことを毎日考えている人もいることを知ることができました。そして、ネブラスカ・リンカーン大学の21歳のコンピュータサイエンス学部の学部生であり、同じようなAI愛好家であるルーク・ファリッターのおかげで、今後は考えることがもっとたくさんできるかもしれません。歴史への情熱と機械学習のスキルを融合させ、ファリッターはVesuvius Challengeで勝利を収め、NVIDIA GeForce GTX 1070 GPUの力を行使して、およそ2,000年ぶりに古代のテキストの一部を戻しました。テキストのビッグなもの：ローマの隠された歴史を解読するヘルクラネウムの巻物は、79年にヴェスヴィオ火山の噴火によって炭化し保存された古代のテキストのライブラリです。この噴火により、ポンペイとヘルクラネウムの都市が厚い灰と軽石の層で埋まりました。この競技会は、歴史家や技術者たちの興味を引きつけ、巻物の炭化した遺骸から読めるコンテンツを抽出することを目的としています。ファリッターの努力のおかげで、古代のテキストから「πορφυρας」という言葉（紫の染料または紫の布）が現れました。ヘルクラネウムの巻物は、ヴェスヴィオ火山の噴火の熱によって100回巻かれて密封されています。巻物の小さな部分で10文字を識別した彼の功績により、彼は4万ドルの賞金を獲得しました。彼の後を追って、バイオロボティクスの大学院生であるユースフ・ナダーが数か月後に同じ単語を独立して識別し、1万ドルの賞金を手にしました。また、起業家で鋭い目のケイシー・ハンドマーは、未開封の巻物に内包されている大量のインクが発見されることを実証し、さらに1万ドルを獲得しました。これらの発見は、ケンタッキー大学コンピュータサイエンス学科の学科長であるW.ブレント・シールズがデリケートなヘルクラネウムの巻物をデジタルで展開し読む方法を開発するために10年以上を費やしてきた研究を進めています。この取り組みを活性化させるのは、GitHubのCEOであり、Vesuvius Challengeの主催者でもあるナット・フリードマンです。彼のオープンソースイノベーションへの取り組みが、このような歴史的なブレークスルーが可能なコミュニティを育んでいます。巻物からテキストを解読するために、宇宙探査技術のインターンとして勤務したファリッターは、GeForce GTX 1070を活用して作業を加速させました。ローマとRAMが出会った時：古いGPUがさらに古いテキストを明らかにする 2016年に登場したGTX…

Corporate

Learn more about Search Results A - Page 95