Search Results Mistral 7B

「Meditronを紹介：LLaMA-2に基づいたオープンソースの医学用大規模言語モデル（LLM）のスイート」

大規模言語モデル（LLMs）の最もエキサイティングな応用の1つは、医学分野であり、その使用例には医学研究、カスタマイズされたヘルスプラン、臨床診断などが含まれます。ただし、この分野が安全上の問題であるため、これらのモデルをさまざまな用途でストレステストして安全に使用できることを確認する必要があります。さらに、これらのモデルは、公開されて検証を可能にする必要があります。そのため、研究者グループは、LLMa-2に基づき、ドメイン適応されたMediTronというLLMのセットを公開しました。モデルには7Bパラメータのバリアントと70Bのバリアントがあります。MediTronは、RLHFまたはインストラクションチューニングを使用して特定の下流タスクに使用できる基礎モデルであり、その使用例には医学試験の質疑応答、一般的な健康に関する問い合わせ、疾患情報の問い合わせ、および差異診断のサポートが含まれます。 MediTronのトレーニングデータセットは非常に包括的で、臨床プラクティスガイドライン、医学論文とその要約、一般的なドメインのプリトレーニングデータで構成されています。メガトロン-LLM分散トレーニングライブラリを使用してトレーニング効率を最適化し、並列化スキームではデータ、パイプライン、テンソル並列化を使用してプロセスを高速化しています。研究者は、モデルの真実性をベースラインモデルに対して初期評価しました。彼らはTruthfulQAデータセットをベンチマークとして使用し、7Bモデルに対してワンショット評価を行い、70Bモデルに対してゼロショット評価を行いました。両モデルは他のモデルよりも優れており、MediTron-70Bの平均スコアが54.8のLLaMA-2-70Bに比べて71.2、MediTron-7Bの平均スコアが12.6のLLaMA-2-7Bに比べて28.3でした。続いて、研究者はMedQA、PubMedQAなどのさまざまなテストベンチマークを使用し、多肢選択問題回答タスクの正確性を計算しました。結果を比較するために、LLMa-7B、LLMa-70B、Mistral-7B-instructなどの異なるLLMも使用しました。結果は、MediTron-7BとMediTron-70Bがほぼすべてのデータセットで他の競合モデルを上回り、その優れた機能を示しています。このモデルは多数の医学データでトレーニングされ、複数のベンチマークで良いパフォーマンスを発揮しますが、追加のテストなしで医療アプリケーションに展開することは避けるべきです。研究者はまだこのモデルの能力と制約を理解し始めたばかりであり、現時点では医療システムでの使用に関して慎重を要します。まとめると、MediTronは、幅広い医学データセットでトレーニングされた、ドメイン固有のLLMのセットです。7Bパラメータと70Bの2つのバリアントがあり、両方のバリアントは評価対象の他のモデルよりも優れていました。研究者はまた、このモデルは現時点では追加のトレーニングなしで展開されるべきではないと述べています。医学において、このモデルは興味深い進展であり、さまざまな医療タスクを解決し、医療専門家を支援する可能性を秘めています。

オープンLLMリーダーボード：DROPディープダイブ

最近、新たに3つの新基準がOpen LLM Leaderboardに追加されました。Winogrande、GSM8k、そしてDROPです。これらはEleutherAI Harnessの再現実装を使用しています。DROPのスコアをざっと見てみると、f1スコアでほとんどのモデルが10点以下という奇妙な現象が起こっていることがわかりました。私たちはこの問題を深く掘り下げ、何が起こっているのかを理解するために調査を行いました。一緒に調査結果を見ていきましょう！初期の観察結果 DROP（段落に対する離散的な推論）は、モデルが英語の段落から関連する情報を抽出し、それらに対して離散的な推論手法（例えば、ソートやアイテムの数え上げなどを行い、正解にたどり着く）を実行する必要がある評価です（例は下の表を参照してください）。使用される評価指標はカスタムのf1スコアと完全一致スコアです。 DROPをOpen LLM Leaderboardに3週間前に追加しましたが、事前学習モデルのf1スコアは予想外の傾向を示しました。DROPのスコアをARC、HellaSwag、TruthfulQA、MMLUのリーダーボードの元々の平均（モデル全体のパフォーマンスの合理的な代理）と比較したとき、優れたモデルほどDROPのスコアも良い関連性があると予想していました。しかし、それは一部のモデルにしか当てはまらず、他のすべてのモデルのDROPのf1スコアは10点未満でした。正規化の問い合わせこの驚くべき振る舞いに対する最初の深い調査中に、正規化ステップが意図した通りに機能していない可能性があることがわかりました。いくつかのケースでは、正規化が正しい数値の回答を無視してしまっていました。具体的には、数値の回答の後に空白文字（スペース以外の改行など）が続いていた場合に正規化が無視されていました。以下に例を示します。生成結果が10\n\nPassage: The 2011 census recorded a population of 1,001,360で、正解が10である場合を見てみましょう。正規化は生成結果と正解の両方に対して複数のステップで行われます：区切り文字での分割 |、-、または. を使って分割します。生成結果の先頭のシーケンス 10\n\nPassage:…

新しい – Code-OSS VS Codeオープンソースに基づくコードエディタが、Amazon SageMaker Studioで利用可能になりました

本日は、Amazon SageMaker Studioにおける新しい統合開発環境（IDE）オプションであるCode Editorのサポートを発表することを嬉しく思いますCode Editorは、Code-OSS、つまりVisual Studio Codeのオープンソース版に基づいており、機械学習（ML）開発者が知っていて愛している人気のあるIDEの馴染みのある環境とツールにアクセスする機能が完全に統合されています

Zephyr LLM アライメントの直接蒸留

近年、小さなオープン大規模言語モデルの能力とパフォーマンスは大幅に向上しており、初期のGPT-2モデルからよりコンパクトで正確かつ効果的なLLMフレームワークへの進歩を目撃してきましたこれらのフレームワークは、Chinchillaスケーリングが推奨する「計算最適」トークン量よりもはるかに多くのトークンを使用しています

「OpenAIモデルに対するオープンソースの代替手段の探索」

序文 AIの領域では、11月はドラマチックな展開がありました。GPTストアやGPT-4-turboのローンチ、そしてOpenAIの騒動まで、まさに忙しい一ヶ月でした。しかし、ここで重要な問題が浮かび上がります：クローズドモデルとその背後にいる人々はどれだけ信頼できるのでしょうか？自分が実際に運用しているモデルが内部の企業ドラマに巻き込まれて動作停止するのは快適な体験とは言えません。これはオープンソースモデルでは起こらない問題です。展開するモデルには完全な管理権限があります。データとモデルの両方に対して主権を持っています。しかし、OSモデルをGPTと置き換えることは可能でしょうか？幸いなことに、既に多くのオープンソースモデルが、GPT-3.5モデル以上の性能を発揮しています。本記事では、オープンソースのLLM（Large Language Models）およびLMM（Large Multi-modal Models）の最高の代替品をいくつか紹介します。学習目標オープンソースの大規模言語モデルについての議論。最新のオープンソース言語モデルとマルチモーダルモデルについての探求。大規模言語モデルを量子化するための簡易な導入。 LLMをローカルおよびクラウド上で実行するためのツールやサービスについて学ぶ。この記事は、データサイエンスブログマラソンの一環として公開されました。オープンソースモデルとは何ですかモデルがオープンソースと呼ばれるのは、モデルの重みとアーキテクチャが自由に利用できる状態にあるからです。これらの重みは、例えばMeta’s Llamaのような大規模言語モデルの事前訓練パラメータです。これらは通常、ファインチューニングされていないベースモデルやバニラモデルです。誰でもこれらのモデルを使用し、カスタムデータでファインチューニングして下流のアクションを実行することができます。しかし、それらはオープンなのでしょうか？データはどうなっているのでしょうか？多くの研究所は、著作権に関する懸念やデータの機密性の問題などの理由から、ベースモデルの訓練データを公開しません。これはまた、モデルのライセンスに関する部分にも関連しています。すべてのオープンソースモデルは、他のオープンソースソフトウェアと同様のライセンスが付属しています。Llama-1などの多くのベースモデルは非商用ライセンスとなっており、これらのモデルを利用して収益を上げることはできません。しかし、Mistral7BやZephyr7Bなどのモデルは、Apache-2.0やMITライセンスが付属しており、どこでも問題なく使用することができます。オープンソースの代替品 Llamaのローンチ以来、オープンソースの領域ではOpenAIモデルに追いつこうとする競争が繰り広げられています。そしてその結果は今までにないものでした。GPT-3.5のローンチからわずか1年で、より少ないパラメータでGPT-3.5と同等またはそれ以上のパフォーマンスを発揮するモデルが登場しました。しかし、GPT-4は依然として理性や数学からコード生成までの一般的なタスクには最も優れたモデルです。オープンソースモデルのイノベーションと資金調達のペースを見ると、GPT-4のパフォーマンスに近づくモデルが間もなく登場するでしょう。とりあえず、これらのモデルの素晴らしいオープンソースの代替品について話しましょう。 Meta’s Llama 2 Metaは今年7月にLlama-2という彼らの最高のモデルをリリースし、その印象的な能力により一瞬で人気を集めました。MetaはLlama-7b、Llama-13b、Llama-34b、Llama-70bの4つの異なるパラメータサイズのLlama-2モデルをリリースしました。これらのモデルは、それぞれのカテゴリにおいて他のオープンモデルを上回る性能を発揮しました。しかし、現在ではmistral-7bやZephyr-7bのような複数のモデルが、多くのベンチマークで小さなLlamaモデルを上回る性能を発揮しています。Llama-2 70bはまだそのカテゴリーで最高のモデルの一つであり、要約や機械翻訳などのタスクにおいてGPT-4の代替モデルとして価値があります。 Llama-2はGPT-3.5よりも多くのベンチマークで優れたパフォーマンスを発揮し、GPT-4に迫ることもできました。以下のグラフは、AnyscaleによるLlamaとGPTモデルのパフォーマンス比較です。…

『Python NumbaとCUDA Cを使用したバッチK-Means』

データ分析のワークロードを並列化することは、特に特定のユースケースに対して効率的な既製の実装がない場合、困難な作業になるかもしれませんこのチュートリアルでは、私が案内します...

LMQL — 言語モデル用のSQL

「SQLについて聞いたことがあるか、あるいはスキルを習得したことがあるはずですSQL（Structured Query Language）はデータベースデータの操作に広く利用される宣言型言語です年次のStackOverflow調査によると...」

「Amazon Personalizeと創造的AIを活用して、ハイパーカスタマイズされたお客様体験を実現しましょう」

今日は、Amazon Personalizeと生成AIを使用して個別の顧客体験を向上させるための3つの新製品を発表することをお知らせいたします管理されたソリューションを探している場合、または独自のものを構築したい場合でも、これらの新しい機能を使用して、旅を推進することができますAmazon Personalizeは、完全に管理された機械学習（ML）サービスで、...

アマゾンセージメーカースタジオを使用して、素早い実験結果のためにLlama 2、LangChain、およびPineconeを使用してRAG型の質問応答ソリューションを構築しましょう

「Retrieval Augmented Generation（RAG）は、ファインチューニングなしで大規模言語モデル（LLM）に外部の知識源（リポジトリ、データベース、APIなど）へのアクセスを提供することができます質問応答に対して生成的AIを使用する際、RAGはLLMが最も関連性の高い最新情報で質問に回答し、必要に応じて引用することができるようにします...」

メタラマは本当にオープンソースなのか？ (Meta Rama wa hontō ni ōpun sōsu na no ka?)

「メタLLaMAのオープンソースLLMとしての真正性を探求し、基準と大きな意義を解析する」

Learn more about Search Results Mistral 7B - Page 7