Search Results MPT

MosaicMLは、彼らのMPT-30BをApache 2.0の下でリリースしました

MosaicML-7Bの大成功の後、MosaicMLは再び以前に設定した基準を上回りました。新しい画期的なリリースでは、MosaicML-30Bを発表しました。 MosaicMLは非常に正確で強力な事前学習済みトランスフォーマーです。MosaicMLは、MosaicML-30BがChatGPT3よりもさらに優れていると主張しています。 MosaicML-30Bの発売前、MosaicML-7BはAI界を席巻しました。MPT-7B Base-instruct、base-chat、およびストーリーライティングは大成功でした。同社は、これらのモデルが世界中で300万回以上ダウンロードされたと主張しています。以前にリリースしたモデルへのコミュニティの熱狂がさらに優れたエンジンを求める最大の理由であり、Mosaic MLはMPT-30Bでそれを実現しました。コミュニティがこれらのMPTエンジンを適応し、より調整されたものを構築して具体的なユースケースに役立てる姿は信じられないほどでした。興味深いケースの一部はLLaVA-MPTです。LLaVa-MPTは、事前学習済みMPT-7Bにビジョン理解を追加します。同様に、GGMLはMPTエンジンをApple SiliconとCPUでより良く実行できるように最適化します。GPT4ALLは、MPTを基にしたGPT4のようなチャットオプションを実行できる別のユースケースです。よく見ると、MosaicMLがより優れており、大企業に対して強力な競争力を持ち、比較的簡単な統合でさまざまなユースケースにモデルを適応させることができるというのは、彼らが提供する競争力のある機能のリストとモデルの適応性のおかげです。このリリースでは、Mosaic MLはまた、ChatGPTが使用するパラメータのおよそ三分の一のMPT-30Bが、既存の生成ソリューションと比較して非常に軽量なモデルであると主張しています。 MosaicMLの既存のMPT-7Bよりも優れており、このMPT-30Bは商業ライセンスの下で即座に商業利用が可能です。それだけでなく、MPT-30BにはMPT-30B-InstructとMPT-30B-Chatの2つの事前学習済みモデルも付属しており、1つの単一指示に影響を受けることができ、より長い時間のマルチターン会話を追うことができます。その優れた点は続きます。MosaicMLはMPT-30Bをボトムアップのアプローチでより良く、より効率的に設計しました。MPT-30Bは8kトークンのコンテキストウィンドウでトレーニングされています。ALiBiを介してより長いコンテキストをサポートしています。 FlashAttentionの助けを借りて、トレーニングと推論のパフォーマンスを改善しました。MPT-30Bは、データの多様性によるより強力なコーディング能力を備えています。このモデルはNvidiaのH100上で8Kコンテキストウィンドウに拡張されました。同社は、これがH100で訓練された最初のLLMモデルであり、お客様にすぐに利用可能であると主張しています。 MosaicMLはまた、モデルを軽量に保ち、新興企業が運用コストを低く抑えるのに役立てています。 MPT-30Bのサイズも、単一のGPU上で簡単に展開できるように特別に選ばれました。1つのA100-80GB（16ビット精度）または1つのA100-40GB（8ビット精度）でシステムを実行できます。Falcon-40Bなどの他の比較可能なLLMは、より大きなパラメータ数を持ち、単一のデータセンターGPUではサービスできません（現在）。これには2つ以上のGPUが必要であり、最小の推論システムコストが増加します。

Amazon SageMaker 上で MPT-7B を微調整する

毎週新しい大規模言語モデル（LLM）が発表され、それぞれが前任者を打ち負かして評価のトップを狙っています最新のモデルの1つはMPT-7Bです

MPT-7Bを紹介します：新しいオープンソースLLM

MosaicML Foundationシリーズによってテキストとコードの1TトークンでトレーニングされたLLM

Natural language processing

「2023年、オープンLLMの年」

2023年には、大型言語モデル（Large Language Models、LLMs）への公衆の関心が急増しました。これにより、多くの人々がLLMsの定義と可能性を理解し始めたため、オープンソースとクローズドソースの議論も広範な聴衆に届くようになりました。Hugging Faceでは、オープンモデルに大いに興味を持っており、オープンモデルは研究の再現性を可能にし、コミュニティがAIモデルの開発に参加できるようにし、モデルのバイアスや制約をより簡単に評価できるようにし、チェックポイントの再利用によってフィールド全体の炭素排出量を低減するなど、多くの利点があります（その他の利点もあります）。では、オープンLLMsの今年を振り返ってみましょう！文章が長くなりすぎないようにするために、コードモデルには触れません。 Pretrained Large Language Modelの作り方まず、大型言語モデルはどのようにして作られるのでしょうか？（もし既に知っている場合は、このセクションをスキップしてもかまいません）モデルのアーキテクチャ（コード）は、特定の実装と数学的な形状を示しています。モデルのすべてのパラメータと、それらが入力とどのように相互作用するかがリストとして表されます。現時点では、大部分の高性能なLLMsは「デコーダーのみ」トランスフォーマーアーキテクチャのバリエーションです（詳細は元のトランスフォーマーペーパーをご覧ください）。訓練データセットには、モデルが訓練された（つまり、パラメータが学習された）すべての例と文書が含まれています。したがって、具体的には学習されたパターンが含まれます。ほとんどの場合、これらの文書にはテキストが含まれており、自然言語（例：フランス語、英語、中国語）、プログラミング言語（例：Python、C）またはテキストとして表現できる構造化データ（例：MarkdownやLaTeXの表、方程式など）のいずれかです。トークナイザは、訓練データセットからテキストを数値に変換する方法を定義します（モデルは数学的な関数であり、したがって入力として数値が必要です）。トークン化は、テキストを「トークン」と呼ばれるサブユニットに変換することによって行われます（トークン化方法によっては単語、サブワード、または文字になる場合があります）。トークナイザの語彙サイズは、トークナイザが知っている異なるトークンの数を示しますが、一般的には32kから200kの間です。データセットのサイズは、これらの個々の「原子論的」単位のシーケンスに分割された後のトークンの数としてよく測定されます。最近のデータセットのサイズは、数千億から数兆のトークンに及ぶことがあります！訓練ハイパーパラメータは、モデルの訓練方法を定義します。新しい例ごとにパラメータをどれだけ変更すべきですか？モデルの更新速度はどのくらいですか？これらのパラメータが選択されたら、モデルを訓練するためには1）大量の計算パワーが必要であり、2）有能な（そして優しい）人々が訓練を実行し監視する必要があります。訓練自体は、アーキテクチャのインスタンス化（訓練用のハードウェア上での行列の作成）および上記のハイパーパラメータを使用して訓練データセット上の訓練アルゴリズムの実行からなります。その結果、モデルの重みが得られます。これらは学習後のモデルパラメータであり、オープンな事前学習モデルへのアクセスに関して多くの人々が話す内容です。これらの重みは、推論（つまり、新しい入力の予測やテキストの生成など）に使用することができます。事前学習済みLLMsは、重みが公開されると特定のタスクに特化または適応することもあります。それらは、「ファインチューニング」と呼ばれるプロセスを介して、ユースケースやアプリケーションの出発点として使用されます。ファインチューニングでは、異なる（通常はより専門化された小規模な）データセット上でモデルに追加の訓練ステップを適用して、特定のアプリケーションに最適化します。このステップには、計算パワーのコストがかかりますが、モデルをゼロから訓練するよりも財政的および環境的にはるかにコストがかかりません。これは、高品質のオープンソースの事前学習モデルが非常に興味深い理由の一つです。コミュニティが限られたコンピューティング予算しか利用できない場合でも、自由に使用し、拡張することができます。 2022年 – サイズの競争からデータの競争へ 2023年以前、コミュニティで利用可能だったオープンモデルはありましたか？ 2022年初頭まで、機械学習のトレンドは、モデルが大きければ（つまり、パラメータが多ければ）、性能が良くなるというものでした。特に、特定のサイズの閾値を超えるモデルは能力が向上するという考えがあり、これらの概念はemergent abilitiesとscaling lawsと呼ばれました。2022年に公開されたオープンソースの事前学習モデルは、主にこのパラダイムに従っていました。 BLOOM（BigScience Large Open-science…

２０２４年にフォローするべきデータサイエンスのトップ１２リーダー

データサイエンスの広がりを見据えると、2024年の到来は、革新を牽引し、分析の未来を形作る一握りの著名人にスポットライトを当てる重要な瞬間として迎えられます。『Top 12 Data Science Leaders List』は、これらの個人の卓越した専門知識、先見のリーダーシップ、および分野への重要な貢献を称えるビーコンとして機能します。私たちは、これらの画期的なマインドの物語、プロジェクト、そして先見の見通しをナビゲートしながら、データサイエンスの進路を形作ると約束された航跡を探求します。これらの模範的なリーダーたちは単なるパイオニアにとどまることはありません。彼らは無類のイノベーションと発見の時代へと私たちを導く先駆者そのものです。 2024年に注目すべきトップ12データサイエンスリーダーリスト 2024年への接近とともに、データサイエンスにおいて傑出した専門知識、リーダーシップ、注目すべき貢献を示す特異なグループの人々に焦点を当てています。『Top 12 Data Science Leaders List』は、これらの個人を認識し、注目することで、彼らを思想リーダー、イノベーター、およびインフルエンサーとして認め、来年重要なマイルストーンを達成することが予想されます。さらに詳細に突入すると、これらの個人の視点、事業、イニシアチブが、さまざまなセクターを横断する複雑な課題に対するメソッドとデータの活用方法を変革することが明らかになります。予測分析の進展、倫理的なAIの実践の促進、または先進的なアルゴリズムの開発など、このリストでハイライトされた個人たちが2024年にデータサイエンスの領域に影響を与えることが期待されています。 1. Anndrew Ng 「AIのゲームにおいて、適切なビジネスコンテキストを見つけることが非常に重要です。私はテクノロジーが大好きです。それは多くの機会を提供します。しかし結局のところ、テクノロジーはコンテクスト化され、ビジネスユースケースに収まる必要があります。」 Dr. アンドリュー・エングは、機械学習（ML）と人工知能（AI）の専門知識を持つ英米のコンピュータ科学者です。AIの開発への貢献について語っている彼は、DeepLearning.AIの創設者であり、Landing AIの創設者兼CEO、AI Fundのゼネラルパートナー、およびスタンフォード大学コンピュータサイエンス学科の客員教授でもあります。さらに、彼はGoogle AIの傘下にある深層学習人工知能研究チームの創設リードでありました。また、彼はBaiduのチーフサイエンティストとして、1300人のAIグループの指導や会社のAIグローバル戦略の開発にも携わりました。アンドリュー・エング氏は、スタンフォード大学でMOOC（大規模オープンオンラインコース）の開発をリードしました。また、Courseraを創設し、10万人以上の学生に機械学習のコースを提供しました。MLとオンライン教育の先駆者である彼は、カーネギーメロン大学、MIT、カリフォルニア大学バークレー校の学位を保持しています。さらに、彼はML、ロボット工学、関連する分野で200以上の研究論文の共著者であり、Tiime誌の世界で最も影響力のある100人のリストに選ばれています。…

DALLE-3の5つの使用例

「DALL-E 3を使って、あなたの生活を少しでも楽にする方法を学んでください（またはたくさん）」

Artificial Intelligence

「医療の分野における人工知能モデルのリスト（2023年）」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/18-1024×618.gif”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/18-150×150.gif”/><p>今年だけでも、人工知能（AI）が進化を遂げた数を考えると、2023年を通じて重要な議論の中心となっていることは驚くべきことではありません。AIは今やほぼあらゆる領域で活用されており、その中でも興味深く有用な応用の1つが医療と医学の分野です。薬物の発見から医療文書の転写、手術の支援まで、医療従事者の生活を変え、誤りを減らし、効率を向上させています。この記事では、2023年に医療現場を変革する可能性のあるいくつかのAIモデルについて説明します。</p><h2><a href=”https://www.voagi.com/google-deepminds-recent-advancements-analogical-stepback-prompting.html”><strong>Med-PaLM 2</strong></a></h2><p>Google Researchが医療分野向けに設計したMed-PaLMは、医療の質問に高品質な回答ができるモデルです。このモデルはGoogleのLLMの力を活用しており、米国医師国家試験のような質問に回答する際には人間の専門家レベルに達する最初のモデルの1つです。評価された結果、このモデルは症状を理解し、複雑な推論を行い、適切な治療法を選択する能力を示しました。さらに、研究の中でMedQA医学試験のベンチマークで86.5％の正確さを達成しました。有望な能力を示しているものの、研究者はより厳密な評価を行い、安全性の重要な領域での展開が可能かどうかを確認するためにさらなる評価を行いたいと考えています。</p><h2><a href=”/?s=Bioformer”><strong>Bioformer</strong></a></h2><p>Bioformerは、バイオメディカルテキストマイニングに使用できるBERTのコンパクト版です。BERTは自然言語処理のアプリケーションで最先端の性能を達成していますが、計算効率を向上させるためにパラメータを減らすことができます。Bioformerの研究者たちは、このアプローチを取り、BERTよりもモデルサイズが大幅に小さいモデル（60％削減）を開発しました。このモデルはPubMedの要約とPubMed Centralの全文記事で訓練され、バイオメディカル用語を使用しています。研究者は2つのバージョンのモデル、Bioformer8LとBioformer16Lをリリースしましたが、名前の識別、関係抽出、質問応答、文書分類などのパラメータで少ないパラメータでもうまく機能しました。</p><h2><a href=”https://www.voagi.com/google-ai-has-launched-medlm-a-series-of-foundation-models-specifically-tailored-for-the-healthcare.html”><strong>MedLM</strong></a></h2><p>MedLMは、Googleが開発した基礎モデルのスイートで、医療ケースに特化してファインチューニングされています。MedLMの下には複雑なタスクに対応し、タスク間でのスケーリングを可能にする2つのモデルが設計されています。これらのモデルの主な目的は、タスクを自動化して時間を節約し、効率を向上し、全体的な患者の健康を改善することです。Googleの研究者はDeloitteと協力して、MedLMの能力を実証するためのパイロットを行っています。MedLMはまた、BenchSciのASCENDなど他のAIシステムと統合されており、臨床研究の品質と速度を向上させるために活用されています。</p><h2><a href=”/?s=RoseTTAFold”><strong>RoseTTAFold</strong></a></h2><p>RoseTTAFoldは、限られた情報から蛋白質の構造を予測するためのディープラーニングを活用したソフトウェアです。このモデルは蛋白質配列のパターン、アミノ酸の相互作用、および3D構造を研究することができます。このモデルにより、研究者は蛋白質と小分子薬剤の相互作用のモデル化が可能になり、これにより薬剤探索の研究が促進されます。モデルの研究者はまた、コードを公開して、全コミュニティの利益に資するようにしています。</p><h2><a href=”https://www.voagi.com/revolutionizing-biological-molecule-predictions-with-deepminds-alphafold.html”><strong>AlphaFold</strong></a></h2><p>AlphaFoldは、DeepMindが開発した強力なAIモデルで、アミノ酸配列から蛋白質の3D構造を予測することができます。DeepMindはEMBL（EMBL-EBI）のEuropean Bioinformatics Instituteとパートナーシップを組んで、20億以上のAI生成蛋白質構造予測を含むデータベースを公開し、科学研究を促進しています。CASP14では、AlphaFoldは他のモデルよりも高い精度で結果を出し、高い正確性を持ちます。さらに、このモデルは研究者が蛋白質構造を理解し、生物学的研究を進めるのに役立つ潜在能力を持っています。</p><h2><a href=”/?s=ChatGLM-6B”><strong>ChatGLM-6B</strong></a></h2> ChatGLMは中国語と英語のバイリンガルモデルであり、中国語の医療対話データベースを元に微調整されています。モデルは比較的短い時間（13時間）で微調整されたため、非常に手頃な医療目的のLLMです。モデルはより長いシーケンス長を持つため、より長い対話や応用に対応しています。モデルは教師あり微調整、RLHFなどの技術を使用してトレーニングされました。これにより、モデルは人間の指示をより理解することができます。その結果、モデルは優れた対話と質問応答の能力を持っています。記事：List of Artificial Intelligence Models for Medical…

高度なRAGテクニック：イラスト入り概要

この投稿の目標は、利用可能なRAGアルゴリズムとテクニックの概要と説明をすることなので、コードの実装の詳細には立ち入らず、参照のみ行い、それについては放置します

「Langchainの使い方：ステップバイステップガイド」

LangChain（ラングチェーン）は、プログラマーが大きな言語モデルを使用してアプリケーションを開発するための人工知能フレームワークです。LangChainの使用方法について詳しく見ていきましょう。ステップ1：セットアップ LangChainを始める前に、適切に構成された開発環境があることを確認してください。PythonまたはJavaScriptなどの必要な依存関係をインストールしてください。LangChainは両方の言語に対応しており、開発者に柔軟性を提供します。 pip install langchain conda install langchain -c conda-forge ステップ2： LLM（Language Models） LangChainを効果的に使用するためには、モデルプロバイダーやデータストア、APIなどのさまざまなコンポーネントと統合することがしばしば必要です。ここでは、LangChainをOpenAIのモデルAPIと統合します。また、Hugging Faceを使用しても同様に行うことができます。 !pip install openaiimport osos.environ["OPENAI_API_KEY"] ="YOUR_OPENAI_TOKEN" from langchain.llms…

２０２４年に探索するべきトップ１２の生成 AI モデル

はじめに近年、人工知能（AI）は非凡な変革を遂げ、創造性の風景を再構築するだけでなく、多様な産業における自動化の新たな基準を設定する先駆的な技術となっています。2024年に入ると、これらの先進的なモデルは画期的な能力、広範な応用、そして世界に紹介する先駆的なイノベーションにより、その地位を固めました。本記事では、今年の主要な生成型AIモデルについて詳しく探求し、彼らの革新的な能力、様々な応用、そして世界にもたらすパイオニア的なイノベーションについて包括的に説明します。テキスト生成 GPT-4：言語の神童開発者：OpenAI 能力：GPT-4（Generative Pre-trained Transformer 4）は、文脈の深い理解、微妙な言語生成、およびマルチモーダルな能力（テキストと画像の入力）で知られる最先端の言語モデルです。応用：コンテンツの作成、チャットボット、コーディング支援など。イノベーション：GPT-4は、規模、言語理解、多様性の面でこれまでのモデルを上回り、より正確かつ文脈に即した回答を提供します。この生成型AIモデルにアクセスするには、こちらをクリックしてください。 Mistral：専門家の混合体開発者：Mistral AI 能力：Mistralは、専門的なサブモデル（エキスパート）に異なるタスクを割り当てることで効率と効果を向上させる、洗練されたAIモデルです。応用：高度な自然言語処理、パーソナライズされたコンテンツの推薦、金融、医療、テクノロジーなど、様々なドメインでの複雑な問題解決など、幅広い応用があります。イノベーション：Mistralは、ネットワーク内の最適なエキスパートにタスクを動的に割り当てることによって特徴付けられます。このアプローチにより、専門的で正確かつ文脈に適した回答が可能となり、多面的なAIの課題処理において新たな基準を設定します。このMistral AIにアクセスするには、こちらをクリックしてください。 Gemini：多面的なミューズ開発者：Google AI Deepmind…

Learn more about Search Results MPT - Page 3