Search Results L

VoAGI ニュース、12月 13日データサイエンスをマスターするための5つの超便利なチートシート• データサイエンスのためのGoogleのNotebookLMの使用：包括的なガイド

VoAGIで今週は、データサイエンス、確率・統計、SQL、機械学習、深層学習の基本的なコンセプトを網羅した超お得なチートシートのコレクション • エクスプローラーLMの機能、制限、研究者や科学者にとって必要な高度な機能についての探求 • そして、さらにたくさんの内容をお届けします！

NEWS

需要予測のNixtlaへの紹介

正確な予測は、情報を基にした意思決定を行い、競争に先んじるために、今日の急速に変化するビジネスの景色において重要な役割を果たしますNixtla Verseを紹介しますこれは、...

「Satya Mallickと一緒にコンピュータビジョンの問題を解決する」

Leading with Dataのこのエピソードでは、OpenCV.orgのCEOであり、Big Vision LLCの創設者でもあるSatya Mallickさんとお話しします。Satyaは、コンピュータビジョンの興味深い旅を共有し、画像処理とコンピュータビジョンの重要な違いについて強調しています。AIコンサルティングにおける透明性から戦略的成長戦略、ジェネレーティブAIの変革的な影響まで、Satyaは専門家や愛好家にとって貴重な視点を提供しています。ダイナミックなAIとデータサイエンスの分野で成功の秘密を解き明かす準備をしてください。 Spotify、Google Podcasts、およびAppleなどの人気プラットフォームでLeading with Dataのエピソードを聴くことができます。お気に入りを選んで、洞察に富んだ内容をお楽しみください！ Satya Mallickさんとの会話からの主要なインサイト画像処理とコンピュータビジョンの違いは重要です – 画像の強化だけでなく、情報を抽出することに関わっています。透明性と返金保証は、AIコンサルティングにおいて信頼性と信用性を構築することができます。戦略的パートナーシップと機会の把握は、コンサルティングビジネスの成長に不可欠です。ジェネレーティブAIは生産性を大幅に向上させ、複雑なタスクの自動化を可能にします。態度と学習意欲を求める採用は、経験豊富なプロフェッショナルと競争するよりも、より有益になる場合があります。 AI業界は大きなブレイクスルーの目前にあり、今参加する人々にとって非常に大きな機会を提供しています。 AIおよびデータサイエンスのリーダーとの洞察に満ちたディスカッションのため、今後のLeading with Dataのセッションに参加しましょう！…

AIの新たなフロンティアを探る：Google DeepMindのReSTEM自己学習による機械学習の進化に関する研究

大型の言語モデル（LLMs）は、人間レベルのテキストを生成し、さまざまな言語タスクを実行する驚異的な能力によって、ディープラーニングを変革しています。高品質な人間データを入手することは、興味のあるタスクの性能をさらに向上させるための敷居となっています。特に、多くのリソースと専門知識を必要とする複雑な問題解決の割り当てには負担がかかります。この障害を克服するために、モデル生成の合成データは、その品質が保証される場合にはスケーラブルかつ手頃な解決策として有望です。この研究では、Google DeepmindとMilaの研究者は、LLMsが作成されたデータを自己評価できる場合でも、外部のスカラーフィードバック信号が各生成サンプルの品質指標として機能するより簡単なシナリオを調査しています。研究チームは、言語モデルのための直感的で効果的なセルフトレーニング技術を提案しています。この手法は、2つのスキルのみを必要とします：1）モデルからサンプルを作成すること、および2）これらのサンプルをスコアリングメカニズムを使用して評価すること。このアプローチにより、モデルが生成したデータによるトレーニングを研究することができます。研究チームは、Reinforced Self-Trainingの呼び方を使い、この技術をReST𝐃𝑀と呼んで一貫性と明確性を実現しています。研究チームは、ReST𝐃𝑀を強化学習のための期待最大化と考えることができる方法を示しています。具体的には、ReST𝐃𝑀は以下のように期待値と最大値のフェーズを切り替えています：1. 生成（Eステップ）：入力コンテキストごとに、言語モデルは複数の出力サンプルを生成します。その後、研究チームはこれらのサンプルを2値報酬を使用してフィルタリングしてトレーニングデータセットを収集します。2. 改善（Mステップ）：元の言語モデルは、前の生成フェーズからのトレーニングデータセットを使用して監視および微調整されます。次の生成フェーズでは、調整されたモデルが使用されます。ReST𝐃𝑀およびその派生版は、機械翻訳、意味解析、および好みの整合において、言語モデルの向上に効果的であることが示されています。 ReST𝐃𝑀は、主に非常に小さな言語モデル（最大7Bのパラメータまで）で従来の研究で使用され、より大きなモデルに対しては限定的なスケーラビリティがありました。彼らの研究は、モデルによって作成された合成データと人間提供データのスケーラビリティと効果を比較することにより、これらの取り組みを補完することを意図しています。具体的には、コード生成（APPS）および競技レベルの数学的問題解決（MATH）という2つの難しいが研究されていないドメインで、パLM 2モデルに対してReST𝐃𝑀を適用することで、数学的な推論力とコード生成のスキルが大幅に向上することを示しています。驚くべきことに、モデルによって作成された人工データで改良されたモデルは、人間が提供したデータでトレーニングされたモデルよりもはるかに優れた性能を発揮します。さらに、ReST𝐃𝑀の数サイクル後に改善が低下し、トレーニングケースの数に過学習の可能性が示唆されています。また、ReST𝐃𝑀を使用して最適化されたモデルは、pass@kおよび多数決の機能を向上させます。最後に、これらの改良されたモデルは、ビッグベンチハードタスク、コーディング（ヒューマン評価）、および算術問題（GSM8KおよびハンガリーHS決勝）を含む類似したが異なるベンチマークでのパフォーマンスも向上しています。最後に、ReST𝐸𝑀の微調整におけるトレーニング問題、反復回数、およびモデル生成ソリューションの量の影響を調査するための削除研究が行われています。

ミストラルの最先端言語モデル、Mixtral 8x7bをご紹介しますGPT-3.5を超えるオープンアクセスAIです

大容量の言語モデルの領域は、Mixtral 8x7bの登場により、大きな進歩を遂げました。 Mistral AIは、印象的な機能と独自のアーキテクチャを持つこの新しいモデルを開発しました。このモデルは、Transformerモデルにおいて革新的なアプローチであるフィードフォワードレイヤーをスパースなエキスパート混合 (MoE) レイヤーで置き換えています。 Mixtral 8x7bは、1つのフレームワーク内に8つのエキスパートモデルを持つモデルです。このモデルはMixture of Experts（MoE）であり、Mixtralは卓越したパフォーマンスを実現できます。エキスパートの混合は、モデルが著しく少ない計算能力で事前学習されることを可能にします。これにより、モデルやデータセットのサイズを大幅に拡大することができるため、計算予算を増やさずに行うことができます。 MoEレイヤーにはルーターネットワークが組み込まれており、どのエキスパートがどのトークンを効率的に処理するかを選択します。12Bパラメータの密なモデルよりも4倍のパラメータを持っているにもかかわらず、Mixtralのモデルは、各タイムステップごとに2つのエキスパートが選択されるため、高速でデコードできます。 Mixtral 8x7bは32,000トークンのコンテキスト長の容量を持ち、Llama 2 70Bを上回り、さまざまなベンチマークでGPT3.5と比較可能または優れた結果を示しています。研究者は、このモデルがさまざまなアプリケーションに対して柔軟に対応できると述べています。それは多言語対応であり、英語、フランス語、ドイツ語、スペイン語、イタリア語で流暢さを示しています。また、コーディングの能力も優れており、HumanEvalテストで40.2%のスコアを獲得し、包括的な自然言語処理ツールであることが確認されました。 Mixtral Instructは、MT-BenchやAlpacaEvalなどの業界標準でのパフォーマンスを示しました。MT-Benchでは、他のどのオープンアクセスモデルよりも優れたパフォーマンスを発揮します。また、7,000,000,000のパラメータを持っているにもかかわらず、このモデルは8つのアンサンブルのように機能します。56,000,000,000のスケールには達しませんが、総パラメータ数はおよそ45,000,000,000です。また、Mixtral Instructはインストラクションやチャットモデルの領域で優れた性能を発揮し、その支配的な地位を確立しています。 Mixtral Instructのベースモデルには、他のベースモデルと整合する特定のプロンプト形式がありません。この柔軟性により、ユーザーは入力シーケンスをスムーズに信憑性のある継続に拡張したり、ゼロショット/フューショットの推論に利用したりすることができます。ただし、事前トレーニングのデータセットの寸法、構成、および前処理方法についての完全な情報はまだ不明です。同様に、Mixtral InstructモデルのDPO（ドメイン提供目的）およびSFT（いくつかのファインチューニング）に使用されるファインチューニングデータセットと関連するハイパーパラメータも不明です。要約すると、Mixtral…

MLがDevOpsと出会うとき：MLOpsの理解方法

この記事では、機械学習とDevOpsの統合、モデルの管理、ベストプラクティス、成功した解決策について取り上げています

『たった10行のコードで任意のGPUに適合するLLMを作成します』

「24ギガバイト以上のVRAMを搭載したGPUに十分なお金を持っている人って、誰ですか？特に、それを試してみたり、使ってみたり、ローカルで実行して遊びたいだけなのに！私たちは…」

「Pythonクライアントを使用してMyScaleを始める」

「マイスケールの基本から、テーブルの作成やインデックスの定義などを学び、上級のSQLベクトル検索までを探求してくださいなぜマイスケールを選ぶべきかも知ることができます」

『UC BerkeleyがAIフィードバックから強化学習を使って訓練されたオープンなLLMを発表』

新しいレポートでは、UCバークレーの研究者がReinforcement Learning from AI Feedback（RLAIF）を使って作成された革命的な大規模言語モデルであるStarling-7Bを紹介しています研究者たちは、このモデルが最先端の技術と手法を取り入れ、自然言語処理の領域を再定義する助けになることを期待しています研究者たちは、...

アリゾナ州立大学のこのAI研究は、テキストから画像への非拡散先行法を改善するための画期的な対照的学習戦略「ECLIPSE」を明らかにした

拡散モデルは、テキストの提案を受け取ると、高品質な写真を生成するのに非常に成功しています。このテキストから画像へのパラダイム（T2I）の生成は、深度駆動の画像生成や主題/セグメンテーション識別など、さまざまな下流アプリケーションで成功裏に使用されています。2つの人気のあるテキスト条件付き拡散モデル、CLIPモデルと潜在的な拡散モデル（LDM）のような、しばしば安定拡散と呼ばれるモデルは、これらの進展に不可欠です。LDMは、オープンソースソフトウェアとして自由に利用可能なことで研究界で知られています。一方、unCLIPモデルにはあまり注目が集まっていません。両モデルの基本的な目標は、テキストの手がかりに応じて拡散モデルをトレーニングすることです。テキストから画像への優位性と拡散画像デコーダを持つunCLIPモデルとは異なり、LDMには単一のテキストから画像への拡散モデルがあります。両モデルファミリーは、画像のベクトル量子化潜在空間内で動作します。unCLIPモデルは、T2I-CompBenchやHRS-Benchmarkなどのいくつかの構成ベンチマークで他のSOTAモデルを上回ることが多いため、この記事ではそれに集中します。これらのT2Iモデルは通常多くのパラメータを持つため、トレーニングには優れた画像とテキストのペアリングが必要です。LDMと比較すると、DALL-E-2、Karlo、KandinskyなどのunCLIPモデルは、約10億のパラメータを持つ前のモジュールがあるため、合計モデルサイズが大幅に大きくなります（≥ 2B）。そのため、これらのunCLIPモデルのトレーニングデータは250M、115M、177Mの画像テキストのペアリングです。したがって、2つの重要な質問が残ります：1）テキスト構成のSOTAパフォーマンスは、テキストから画像への先行モデルを使用することで改善されるのでしょうか？2）それともモデルのサイズを増やすことが重要な要素なのでしょうか？パラメータとデータの効率性を向上させることで、研究チームはT2I先行モデルについての知識を向上させ、現在の形式に比べて重要な改善を提供することを目指しています。T2I先行モデルは、拡散プロセスの各タイムステップでノイズのない画像埋め込みを直接推定するための拡散モデルでもあり、これは以前の研究が示唆しているようです。研究チームは、この前期の普及プロセスを調査しました。図1は、SOTAテキストから画像へのモデル間の３つの構成タスク（色、形、テクスチャ）の平均パフォーマンスとパラメータの総数を比較しています。ECLIPSEは少量のトレーニングデータしか必要とせず、少ないパラメータでより優れた結果を出します。提示されたECLIPSEは、Kandinskyデコーダを使用して、わずか5百万の画像テキストペアリングのみを利用して約3300万のパラメータでT2I先行モデルをトレーニングします。研究チームは、拡散プロセスがわずかにパフォーマンスを低下させ、正しい画像の生成には影響を与えないことを発見しました。さらに、拡散モデルは収束が遅いため、トレーニングには大量のGPU時間または日数が必要です。そのため、非拡散モデルはこの研究では代替手段として機能します。分類子のガイダンスがないため、この手法は構成の可能性を制限するかもしれませんが、パラメータの効率性を大幅に向上させ、データの依存性を軽減します。本研究では、Arizona State Universityの研究チームは、上記の制約を克服し、T2Iの非拡散先行モデルを強化するためのユニークな対照的学習技術であるECLIPSEを紹介しています。研究チームは、提供されたテキスト埋め込みから画像埋め込みを生成する従来のアプローチを最適化することにより、Evidence Lower Bound（ELBO）を最大化しました。研究チームは、事前学習されたビジョン言語モデルの意味的整合性（テキストと画像の間）機能を使用して、以前のトレーニングを監視しました。研究チームは、ECLIPSEを使用して、画像テキストのペアリングのわずかな断片（0.34%〜8.69%）を使用して、コンパクトな（97%小さい）非拡散先行モデル（3300万のパラメータを持つ）をトレーニングしました。研究チームは、ECLIPSEトレーニングされた先行モデルをunCLIP拡散画像デコーダバリエーション（KarloとKandinsky）に導入しました。ECLIPSEトレーニングされた先行モデルは、10億のパラメータを持つバージョンを上回り、ベースラインの先行学習アルゴリズムを上回ります。研究結果は、パラメータやデータを必要とせずに構成を改善するT2I生成モデルへの可能な道を示唆しています。図1に示すように、彼らの総合パラメータとデータの必要性は大幅に減少し、T2Iの増加により類似のパラメータモデルに対してSOTAのパフォーマンスを達成します。貢献。1）unCLIPフレームワークでは、研究チームがテキストから画像への事前の対照的な学習に初めてECLIPSEを提供しています。 2）研究チームは包括的な実験を通じて、資源制約のある文脈でのECLIPSEの基準事前に対する優位性を証明しました。 3）注目すべきは、ECLIPSE事前のパフォーマンスを大きなモデルと同等にするために、トレーニングデータのわずか2.8％とモデルパラメータのわずか3.3％しか必要としないことです。 4）また、研究チームは現在のT2I拡散事前の欠点を検討し、経験的な観察結果を提供しています。

Learn more about Search Results L - Page 7