Search Results MPT

「2023年にPrompt Engineeringを使用するであろう5つの仕事」

「OpenAIのChatGPTが登場し、大規模な言語モデルを一般のイメージに広めた以来、これらのAIモデルを十分に活用する能力は、すぐに非常に求められるスキルとなりましたそのような中、企業はAIの全ての潜在能力を引き出すために、迅速なエンジニアリングが必要であることに気付き始めています...」

Prompt Engineering

PythonでのZeroからAdvancedなPromptエンジニアリングをLangchainで

大規模言語モデル（LLM）の重要な要素は、これらのモデルが学習に使用するパラメータの数ですモデルが持つパラメータが多いほど、単語やフレーズの関係をより理解することができますつまり、数十億のパラメータを持つモデルは、さまざまな創造的なテキスト形式を生成し、開放的な質問に回答する能力を持っています

「Prompt Diffusionを紹介する：拡散ベースの生成モデルにおけるコンテキスト内学習を可能にするAIフレームワーク」

最新の大規模言語モデル（LLM）であるBERT、GPT-2、BART、T5、GPT-3、およびGPT-4は、機械学習の最近の進歩、特に自然言語処理（NLP）の領域での進歩により開発されました。これらのモデルは、テキスト生成、機械翻訳、感情分析、質問応答などのさまざまなタスクに効果的に使用されています。コンテキストから学習する能力、つまりコンテキスト学習は、これらのLLMの新興動作の1つです。モデルパラメータを最適化せずに、GPT-3のようなコンテキスト学習能力を持つLLMは、入力-出力のサンプルと新鮮なクエリ入力に基づいてジョブを完了することができます。多くの言語タスクの事前トレーニングをコンテキスト学習と適切なプロンプト構造と組み合わせることで、LLMは未経験の活動にも成功裏に一般化することができます。コンテキスト学習はNLPで広く研究されていますが、コンピュータビジョンの応用はほとんど存在しません。コンテキスト学習の実用性と将来性を優れたビジョンアプリケーションの標準的な手法として示すためには、2つの重要な困難があります: 1) ビジョンプロンプトを効果的に作成することは、言語活動のプロンプトを作成するよりも困難です。なぜなら、ドメイン固有の入出力ペアを例として、画像検索を基準とする必要があるからです。 2) コンピュータビジョンでは、テキストから画像生成、クラス条件付き生成、セグメンテーション、検出、分類などの特化されたタスクのために大規模なモデルがしばしばトレーニングされます。これらの大規模ビジョンモデルは、新しいタスクに適応するために柔軟性を持たせる必要があり、コンテキスト学習のために構築されていません。最近のいくつかの試みでは、NLPの回答を使用してこれらの問題に取り組んでいます。具体的には、サンプル写真、クエリ画像、出力画像を1つの巨大な具現化体に統合することによって基本的な視覚的手がかりを作成し、Transformerベースの画像補完モデルをトレーニングして、マスクされた出力画像を予測します。しかし、巨大な写真へのステッチングは、特に高解像度の場合には計算負荷を大幅に増加させます。この作業では、テキストガイドの拡散ベースの生成モデルのコンテキスト学習の潜在能力に取り組むことで、これらの2つの問題に対処します。幅広いビジョン言語アクティビティを扱うことができるビジョン言語プロンプトの下でコンテキスト学習を実行するために、MicrosoftとUT Austinの研究者はPrompt Diffusionという新しいモデルアーキテクチャを提案しています。Prompt Diffusionは、6つの個別のビジョン言語タスクを同時に実行します。具体的には、彼らはビジョン言語プロンプトを使用して一般的なビジョン言語タスクを説明します。そして、Stable DiffusionとControlNetの設計を参考にして、ビジョン言語プロンプトを入力として使用するPrompt Diffusionを構築します。Prompt Diffusionをテキストガイドの拡散モデルのコンテキスト学習の能力を可能にする第一歩として提案しています。その後、この知識を使用して、クエリ画像に接続を再マッピングし、言語の指示を含めることで、出力画像を作成することができます。さらに重要なことに、多くのタスクを学習することにより、Prompt Diffusionはコンテキスト学習の能力を持つモデルになります。Prompt Diffusionは、まだ観察されていないいくつかの新しい機能に対しても成功裏に一般化することができます。これは、トレーニング中に6つのタスクで優れたパフォーマンスを発揮することに加えてです。実証的には、Prompt Diffusionはコンテキスト学習に関する既知および未知のタスクで優れたパフォーマンスを発揮します。Prompt Diffusionの有効性は、拡散ベースのコンテキストビジュアル学習に対するより多くの研究を促進することが期待されています。以下は、彼らの主な貢献の概要です: • 複数のビジョン言語アクティビティを効果的に統合することを可能にするビジョン言語プロンプトの最新の設計。 • プロンプト拡散モデルを使用した学習済みおよび新しい未知のタスクにおける高品質なコンテキスト生成。これは、コンテキスト学習が可能な最初の拡散ベースの適応型ビジョン言語基盤モデルです。 •…

新しいAI研究が、転移学習のためのマルチタスクプロンプトチューニング（MPT）を紹介します

事前学習済み言語モデル（PLMs）は、フィネチューニングにより多くの下位NLPタスクで大幅に改善されています。現在のPLMsは数億のパラメータを含むことができますが、タスクごとのフルフィネチューニング（FT）の従来のパラダイムは、多数のタスクに拡張することが困難です。包括的なフィネチューニングに必要なより少ないパラメータを学習する必要性から、「パラメータ効率」のモデルチューニングに関する研究が急増しています。 PLMsを使用したパラメータ効率の高い転移学習において、最近はプロンプトチューニング（PT）が潜在的なオプションとして登場しています。PTは、トレーニング前に入力に調整可能な連続プロンプトベクトルを追加することで機能します。PLMの設定は固定され、PTは各タスクに対して限られた数のプロンプトベクトルのみを学習します。しかし、その驚異的な性能にもかかわらず、瞬間的なチューニングと完全なフィネチューニングの間にはまだ大きな差があります。また、この方法は初期化に非常に敏感であり、通常のフィネチューニング手続きよりも長いトレーニング時間を必要とします。最近の研究では、他のジョブからプロンプトベクトルを再利用することでこれらの問題を解決する方法が提案されています。これらの戦略は、さまざまなソースタスクでソフトプロンプトをトレーニングすることから始まります。次に、これらの事前学習されたプロンプトを、（おそらく学習された）類似性尺度を使用してターゲットタスクのプロンプトのファインチューニングの出発点として使用します。オハイオ州立大学、MIT-IBMワトソンAI研究所、マサチューセッツ工科大学の研究者は、マルチタスクプロンプトチューニング（MPT）を導入することで、この研究の一環をさらに発展させています。MPTは、マルチタスクデータを利用して、効率的にターゲットアクティビティに伝達できる単一のプロンプトを学習します。共有プロンプト空間を学習するアイデアは簡単ですが、実際には非常に難しいことがあります。これは、さまざまなソースタスク間の類似性を習得しながら、その干渉を同時に減らす必要があるためです。研究者は、単にすべてのタスクでプロンプト行列を共有するのではなく、各ソースタスクのソフトプロンプトを共有行列と低ランクタスク固有行列の積として分解する方が成功すると見つけました。分解は、一貫したプロンプトチューニングを通じて獲得したソフトプロンプトからの情報を蒸留することによって教えられます。彼らは共通プロンプト行列に対して低ランクの乗算修正を実行し、ジョブ間を切り替えます。様々なタスクの23のNLPデータセットに対する包括的なテストでは、提案された手法が最新のプロンプト転送手法を上回ることが示されています。T5-Baseを使用したMPTは、最も競争力のあるマルチタスクプロンプト転送ベースラインに比べて、SuperGLUEベンチマークで16.3%の改善を達成しています。一部の性能指標では、MPTはフルフィネチューニングを上回りますが、ジョブごとにわずか0.035%の設定可能なパラメータのみを使用しています。また、ターゲットタスクごとに4-32のラベルがある場合、MPTは少量のデータでも非常に成功することがわかっています。

「Azureの「Prompt Flow」を使用して、GPTモードで文書コーパスをクエリする」

そして、「埋め込み」と「ベクトルストア」といった概念を習得し、プログラミングの要件と組み合わせることは、多くの人にとって複雑に思え、実際に力を引き出すことを妨げることは確かです...

MPT-7Bをご紹介します MosaicMLによってキュレーションされた1Tトークンのテキストとコードでトレーニングされた新しいオープンソースの大規模言語モデルです

MosaicMLは最近、予測分析と意思決定のアプローチを変革する画期的なツール、MPT-7Bを発表しました。この新しいツールは、最新の深層学習とニューラルネットワークの進展を活用した堅牢な機械学習アルゴリズムであり、大規模で複雑なデータセットを扱い、重要なビジネス上の意思決定に有益な洞察を抽出することができます。 MPT-7Bは非常に多目的なツールであり、金融、医療、製造など、さまざまな業界でさまざまな目的に適用できます。産業設定における財務予測や予測保守などです。複数の業界の先進的な組織がこの最先端のプラットフォームを導入し、顕著な成功を収めています。MPT-7Bの重要な特徴の1つは、テキスト、画像、音声などの構造化および非構造化データを含むデータを処理する能力です。顧客フィードバックやソーシャルメディアの投稿など、非構造化データの大量の取り扱いに悩む組織にとって、この機能は特に有用です。 MPT-7Bのもう1つの重要な利点は、時間の経過とともに学習し適応する能力です。ツールがより多くのデータを分析するにつれて、パターンを識別し正確な予測を行う能力が向上します。これにより、組織は時間をかけて予測モデルを洗練し改善することができ、より正確で信頼性の高い結果が得られます。 MPT-7Bの活用により、医療業界は大きな恩恵を受けています。患者データや医療記録を分析することで、このツールは心臓疾患や糖尿病など特定の状態を発症するリスクが最も高い患者を予測することができました。これにより、医療提供者はこれらの状態の発症を予防するための積極的な対策を講じることができ、最終的に患者の結果を改善することができました。 MPT-7Bは予測分析と機械学習の分野で大きな進歩です。その多様性、適応性、正確性により、より情報を持ったデータ駆動型の意思決定を行いたい組織にとって貴重なツールとなっています。プラットフォームが進化し改善し続けるにつれて、より印象的なユースケースやアプリケーションが期待されます。MPT-7Bの統合により、組織は正確なデータ駆動型の洞察に基づいてより良いビジネス上の意思決定を行うことができ、大きな競争上の優位性を得ることができます。データ駆動型の世界がますます重要になる中、正確な予測分析と意思決定のツールの重要性は過小評価できません。MPT-7Bを使用することで、組織はAIと機械学習の最新の進展を最大限に活用し、成長と発展の新たな可能性と機会を開拓することができます。

画像をプロンプトに変換する方法：Img2Prompt AIモデルによるステップバイステップガイド

シンプルなAPIコールと少しのNode.jsで画像からプロンプトを収集する

「Img2Prompt AI モデルを使用して画像をプロンプトに変換する方法：ステップバイステップガイド」

「シンプルなAPI呼び出しと少しのNode.jsで画像からプロンプトを収集します」

MPT-30B：モザイクMLは新しいLLMを使用して、NLPの限界を em>GPT-3を凌駕します

MosaicMLのLLMにおける画期的な進歩について、MPTシリーズで学びましょうMPT-30Bおよびその微調整された派生モデル、MPT-30B-InstructとMPT-30B-Chatが他のモデルを凌駕する方法を探索してください

新しいAI研究がAttrPromptを紹介します：ゼロショット学習における新しいパラダイムのためのLLM-as-Training-Data-Generator

大規模な言語モデル（LLM）のパフォーマンスは、多くの自然言語処理（NLP）アプリケーションで印象的でした。最近の研究では、LLMはタスク固有のトレーニングデータジェネレータとして提案され、特にテキスト分類においてタスク固有のデータと注釈の必要性を低減するために使用されています。これらの取り組みは、LLMをデータ生成者としての有用性を示していますが、生成されたデータがタスク固有のモデルのトレーニングに使用される場合、上流のデータ作成プロセスは無視されています。LLMをクエリするための主要な方法は、単一のクラス条件付きのプロンプトを使用するものですが、これにより提供されるデータの多様性が低下し、LLMの固有のシステムバイアスが持続する可能性があります。ジョージア工科大学、ワシントン大学、UIUC、Google Researchによる新しい研究は、さまざまなドメインからの大規模な枢軸分類タスクを分析します。高品質で人間らしい言語を書く能力のためにLLMをChatGPTに固定します。チームは主にデータ属性を使用して、作成されたトレーニングセット内のバイアスと多様性のレベルを評価します。具体的には、データ属性は複数の属性次元とさまざまな属性値から構成されており、それぞれが属性自体の可能な実現を表しています。研究者たちは、SimPromptで生成されたデータセットにおける属性のバイアスを分析するために訓練された属性分類器を使用しました。さまざまな属性がモデルの最終結果にどのように影響するかを調査します。属性付きデータを生成するために、ChatGPTを使用し、必要な特性に対して特定の値を持つ質問に制約を加えます。研究者たちは、ランダムな特性を持つデータセットでトレーニングされたモデルのパフォーマンスが、特定の属性を持つデータセットでトレーニングされたモデルよりも有意に優れていることを発見しました。この結果は、生成されたデータの属性の多様性の重要性を示しています。チームは、属性のバイアスを減らし、生成されたデータの属性の多様性を増やすために、多様な属性を持つプロンプトを使用してデータを生成することを提案しています。LLMを使用したインタラクティブな半自動プロセスを最初に使用して、与えられた分類タスクに適切な属性次元と値を決定します。LLMデータクエリの標準的なクラス条件付きプロンプトは、ランダムに組み合わされたプロパティによって生成されたより複雑な問い合わせに置き換えられます。彼らはこれらのさまざまな属性トリガーを説明するために「AttrPrompt」という用語を作り出しました。研究者たちは、4つの分類タスクで作成したデータセットを、次の2つのシナリオでトレーニングされたモデルの結果を比較することによって実証的に評価しました：1）生成されたデータセットのみでトレーニングされたモデルと2）本物のトレーニングセットと生成されたセットを含む統合されたデータセットでトレーニングされたモデル。AttrPromptを使用して作成されたデータセットは、両方の場合においてSimPromptで作成されたデータセットよりも優れたパフォーマンスを発揮します。さらに、彼らの結果は、AttrPromptがデータ/予算の効率性、およびさまざまなモデルサイズとLLMとしてのトレーニングデータジェネレータ戦略の幅広さにおいて、SimPromptに比べて優れていることを示しています。 AttrPromptは、SimPromptが必要とするChatGPTのクエリコストの5％しか必要とせずに、SimPromptと同じパフォーマンスを提供するために注目されています。最後に、彼らはLLMをより困難なマルチラベル分類問題に適用することによって、AttrPromptがSimPromptをすべての評価基準で上回ることを初めて示しています。

Learn more about Search Results MPT - Page 2