Learn more about Search Results ス - Page 16

「設定パラメータを使用して、ChatGPTの出力を改善する方法」

最近、私はManning Publicationsから出版されたDavid Clintonの「The Complete Obsolete Guide to Generative AI」という非常に興味深い本を読んでいます第2章では、著者は...

VoAGI ニュース、12月 13日 データサイエンスをマスターするための5つの超便利なチートシート• データサイエンスのためのGoogleのNotebookLMの使用：包括的なガイド

VoAGIで今週は、データサイエンス、確率・統計、SQL、機械学習、深層学習の基本的なコンセプトを網羅した超お得なチートシートのコレクション • エクスプローラーLMの機能、制限、研究者や科学者にとって必要な高度な機能についての探求 • そして、さらにたくさんの内容をお届けします！

「Satya Mallickと一緒にコンピュータビジョンの問題を解決する」

Leading with Dataのこのエピソードでは、OpenCV.orgのCEOであり、Big Vision LLCの創設者でもあるSatya Mallickさんとお話しします。Satyaは、コンピュータビジョンの興味深い旅を共有し、画像処理とコンピュータビジョンの重要な違いについて強調しています。AIコンサルティングにおける透明性から戦略的成長戦略、ジェネレーティブAIの変革的な影響まで、Satyaは専門家や愛好家にとって貴重な視点を提供しています。 ダイナミックなAIとデータサイエンスの分野で成功の秘密を解き明かす準備をしてください。 Spotify、Google Podcasts、およびAppleなどの人気プラットフォームでLeading with Dataのエピソードを聴くことができます。お気に入りを選んで、洞察に富んだ内容をお楽しみください！ Satya Mallickさんとの会話からの主要なインサイト 画像処理とコンピュータビジョンの違いは重要です – 画像の強化だけでなく、情報を抽出することに関わっています。 透明性と返金保証は、AIコンサルティングにおいて信頼性と信用性を構築することができます。 戦略的パートナーシップと機会の把握は、コンサルティングビジネスの成長に不可欠です。 ジェネレーティブAIは生産性を大幅に向上させ、複雑なタスクの自動化を可能にします。 態度と学習意欲を求める採用は、経験豊富なプロフェッショナルと競争するよりも、より有益になる場合があります。 AI業界は大きなブレイクスルーの目前にあり、今参加する人々にとって非常に大きな機会を提供しています。 AIおよびデータサイエンスのリーダーとの洞察に満ちたディスカッションのため、今後のLeading with Dataのセッションに参加しましょう！…

AIの新たなフロンティアを探る：Google DeepMindのReSTEM自己学習による機械学習の進化に関する研究

大型の言語モデル（LLMs）は、人間レベルのテキストを生成し、さまざまな言語タスクを実行する驚異的な能力によって、ディープラーニングを変革しています。高品質な人間データを入手することは、興味のあるタスクの性能をさらに向上させるための敷居となっています。特に、多くのリソースと専門知識を必要とする複雑な問題解決の割り当てには負担がかかります。この障害を克服するために、モデル生成の合成データは、その品質が保証される場合にはスケーラブルかつ手頃な解決策として有望です。 この研究では、Google DeepmindとMilaの研究者は、LLMsが作成されたデータを自己評価できる場合でも、外部のスカラーフィードバック信号が各生成サンプルの品質指標として機能するより簡単なシナリオを調査しています。研究チームは、言語モデルのための直感的で効果的なセルフトレーニング技術を提案しています。この手法は、2つのスキルのみを必要とします：1）モデルからサンプルを作成すること、および2）これらのサンプルをスコアリングメカニズムを使用して評価すること。このアプローチにより、モデルが生成したデータによるトレーニングを研究することができます。研究チームは、Reinforced Self-Trainingの呼び方を使い、この技術をReST𝐃𝑀と呼んで一貫性と明確性を実現しています。研究チームは、ReST𝐃𝑀を強化学習のための期待最大化と考えることができる方法を示しています。 具体的には、ReST𝐃𝑀は以下のように期待値と最大値のフェーズを切り替えています：1. 生成（Eステップ）：入力コンテキストごとに、言語モデルは複数の出力サンプルを生成します。その後、研究チームはこれらのサンプルを2値報酬を使用してフィルタリングしてトレーニングデータセットを収集します。2. 改善（Mステップ）：元の言語モデルは、前の生成フェーズからのトレーニングデータセットを使用して監視および微調整されます。次の生成フェーズでは、調整されたモデルが使用されます。ReST𝐃𝑀およびその派生版は、機械翻訳、意味解析、および好みの整合において、言語モデルの向上に効果的であることが示されています。 ReST𝐃𝑀は、主に非常に小さな言語モデル（最大7Bのパラメータまで）で従来の研究で使用され、より大きなモデルに対しては限定的なスケーラビリティがありました。彼らの研究は、モデルによって作成された合成データと人間提供データのスケーラビリティと効果を比較することにより、これらの取り組みを補完することを意図しています。具体的には、コード生成（APPS）および競技レベルの数学的問題解決（MATH）という2つの難しいが研究されていないドメインで、パLM 2モデルに対してReST𝐃𝑀を適用することで、数学的な推論力とコード生成のスキルが大幅に向上することを示しています。 驚くべきことに、モデルによって作成された人工データで改良されたモデルは、人間が提供したデータでトレーニングされたモデルよりもはるかに優れた性能を発揮します。さらに、ReST𝐃𝑀の数サイクル後に改善が低下し、トレーニングケースの数に過学習の可能性が示唆されています。また、ReST𝐃𝑀を使用して最適化されたモデルは、pass@kおよび多数決の機能を向上させます。最後に、これらの改良されたモデルは、ビッグベンチハードタスク、コーディング（ヒューマン評価）、および算術問題（GSM8KおよびハンガリーHS決勝）を含む類似したが異なるベンチマークでのパフォーマンスも向上しています。最後に、ReST𝐸𝑀の微調整におけるトレーニング問題、反復回数、およびモデル生成ソリューションの量の影響を調査するための削除研究が行われています。

ミストラルの最先端言語モデル、Mixtral 8x7bをご紹介しますGPT-3.5を超えるオープンアクセスAIです

大容量の言語モデルの領域は、Mixtral 8x7bの登場により、大きな進歩を遂げました。 Mistral AIは、印象的な機能と独自のアーキテクチャを持つこの新しいモデルを開発しました。このモデルは、Transformerモデルにおいて革新的なアプローチであるフィードフォワードレイヤーをスパースなエキスパート混合 (MoE) レイヤーで置き換えています。 Mixtral 8x7bは、1つのフレームワーク内に8つのエキスパートモデルを持つモデルです。このモデルはMixture of Experts（MoE）であり、Mixtralは卓越したパフォーマンスを実現できます。 エキスパートの混合は、モデルが著しく少ない計算能力で事前学習されることを可能にします。これにより、モデルやデータセットのサイズを大幅に拡大することができるため、計算予算を増やさずに行うことができます。 MoEレイヤーにはルーターネットワークが組み込まれており、どのエキスパートがどのトークンを効率的に処理するかを選択します。12Bパラメータの密なモデルよりも4倍のパラメータを持っているにもかかわらず、Mixtralのモデルは、各タイムステップごとに2つのエキスパートが選択されるため、高速でデコードできます。 Mixtral 8x7bは32,000トークンのコンテキスト長の容量を持ち、Llama 2 70Bを上回り、さまざまなベンチマークでGPT3.5と比較可能または優れた結果を示しています。研究者は、このモデルがさまざまなアプリケーションに対して柔軟に対応できると述べています。それは多言語対応であり、英語、フランス語、ドイツ語、スペイン語、イタリア語で流暢さを示しています。また、コーディングの能力も優れており、HumanEvalテストで40.2%のスコアを獲得し、包括的な自然言語処理ツールであることが確認されました。 Mixtral Instructは、MT-BenchやAlpacaEvalなどの業界標準でのパフォーマンスを示しました。MT-Benchでは、他のどのオープンアクセスモデルよりも優れたパフォーマンスを発揮します。また、7,000,000,000のパラメータを持っているにもかかわらず、このモデルは8つのアンサンブルのように機能します。56,000,000,000のスケールには達しませんが、総パラメータ数はおよそ45,000,000,000です。また、Mixtral Instructはインストラクションやチャットモデルの領域で優れた性能を発揮し、その支配的な地位を確立しています。 Mixtral Instructのベースモデルには、他のベースモデルと整合する特定のプロンプト形式がありません。この柔軟性により、ユーザーは入力シーケンスをスムーズに信憑性のある継続に拡張したり、ゼロショット/フューショットの推論に利用したりすることができます。 ただし、事前トレーニングのデータセットの寸法、構成、および前処理方法についての完全な情報はまだ不明です。同様に、Mixtral InstructモデルのDPO（ドメイン提供目的）およびSFT（いくつかのファインチューニング）に使用されるファインチューニングデータセットと関連するハイパーパラメータも不明です。 要約すると、Mixtral…

「ガードレールを使用して安全で信頼性のあるAIを設計する方法」

もしデザイン、構築、またはAIの実装に真剣に取り組んでいるのであれば、ガードレールの概念についてはすでに聞いたことがあるかもしれませんAIのリスクを緩和するためのガードレールの概念は新しいものではありませんが、最近の生成型AIの応用の波は、これらの議論をデータエンジニアや学者だけでなく、すべての人にとって関連性のあるものにしました...

「2024年を定義する7つのデータサイエンス＆AIのトレンド」

約1年前のこの時期に、私は2023年にAIで大きなトレンドになると思われることについての意見記事を投稿しましたその7つのアイデアのうち、私はすべて正しかったと思います生成的AIが流行りましたし、採用と解雇も乱れました...

『たった10行のコードで任意のGPUに適合するLLMを作成します』

「24ギガバイト以上のVRAMを搭載したGPUに十分なお金を持っている人って、誰ですか？特に、それを試してみたり、使ってみたり、ローカルで実行して遊びたいだけなのに！私たちは…」

「プロンプトチューニングとは何ですか？」

即興チューニングでは、注意深く設計された「プロンプト」と呼ばれるテキストを大規模言語モデル（LLM）に作成・入力しますこのプロンプトは、モデルの応答を本質的にガイドし、希望の出力スタイル、トーン、または内容に向かって誘導します従来のモデルのトレーニングとは異なり、大規模なデータセットでモデルを再トレーニングする必要があるのに対し、プロンプトのチューニングはわずかなセットのみが必要です

「2024年に注目すべきサイバーセキュリティAIのトレンド」

AIは、防御と攻撃を強化することで、サイバーセキュリティを変革していますAIは脅威を素早く発見し、防御を適応させ、頑強なデータバックアップを確保する能力に優れていますただし、AIによる攻撃の増加やプライバシーの問題など、課題もあります責任あるAIの使用が重要です将来の展望では、2024年において進化するトレンドや脅威に対処するため、人間とAIの共同作業が関与することが必要ですトレンドについての最新情報を把握することの重要性[…]

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us