Search Results MPT

このMicrosoftのAI研究ケーススタディでは、MedpromptがGPT-4の医学を超えた専門能力をドメイン固有のトレーニングなしでどのように向上させるかが明らかにされています

マイクロソフトの研究者が、ドメイン特化のトレーニングなしでGPT-4が医療の質問に答える能力を向上させる課題に取り組みました。彼らはGPT-4の性能を向上させるために異なるプロンプティング戦略を用いる「Medprompt」を紹介しています。目標は、MultiMedQAスイートの全ての9つのベンチマークで最先端の結果を達成することです。この研究では、GPT-4の医療能力に関する事前の研究（特にBioGPTとMed-PaLM）を拡張し、性能を向上させるためにプロンプトエンジニアリングを体系的に探求しています。Medpromptの柔軟性は、電気工学、機械学習、哲学、会計、法律、看護、臨床心理学を含むさまざまな領域で実証されています。この研究は、汎用的な問題解決のための計算機インテリジェンス原則の創造を目指すAIの目標を探求しています。GPT-3やGPT-4などの基礎モデルの成功を強調し、専門的なトレーニングを必要とせずにさまざまなタスクで優れた能力を発揮しています。これらのモデルは、大規模なウェブデータから幅広く学習するテキスト対テキストのパラダイムを採用しています。次の単語の予測精度などのパフォーマンスメトリクスは、トレーニングデータ、モデルのパラメータ、計算リソースのスケールアップによって改善されます。基礎モデルはスケーラブルな問題解決能力を示し、領域を横断した一般化されたタスクに向けた潜在能力を示しています。この研究では、プロンプトエンジニアリングを体系的に探求し、GPT-4の医療課題におけるパフォーマンスを向上させています。注意深い実験設計により、過学習を軽減するために伝統的な機械学習に似たテストメソドロジーを採用しています。Medpromptは、目を付けたと目をつけないといった分割を使ったMultiMedQAデータセットの評価を通じて、見えない質問に対する堅牢な一般化能力を示しています。この研究では、GPT-4のCoT根拠とMed-PaLM 2の根拠を比較して、生成された出力のより長く詳細な論理を明らかにしています。 Medpromptは、医療の質問応答データセットでGPT-4のパフォーマンスを向上させ、MultiMedQAなどの既存の結果を達成し、Med-PaLM 2などの専門モデルをより少ない呼び出しで上回ります。Medpromptを使用することで、GPT-4はMedQAデータセットのエラーレートを27%削減し、初めて90%のスコアを獲得します。ダイナミックな少数サンプルの選択、自己生成された思考の連鎖、選択肢のシャッフルアンサンブルなど、Medpromptの技術は医学に限定されず、さまざまな領域でGPT-4のパフォーマンスを向上させるために適用することができます。厳密な実験設計により過学習の問題は軽減されます。まとめると、Medpromptは医療の質問応答データセットで優れたパフォーマンスを発揮し、MultiMedQAを上回り、さまざまな領域での適応性を示しています。過学習を防ぐために目をつけたと目をつけないといった評価の重要性を強調し、プロンプトエンジニアリングや微調整のさらなる探求が医療などの重要な分野での基礎モデルの活用に必要であることを推奨しています。今後の研究では、プロンプトの改良と基礎モデルの能力向上について、少数の例をプロンプトに組み込む方法を洗練させることが重要です。また、健康などの高リスク領域でのプロンプトエンジニアリングと微調整の連携には潜在的な可能性があり、迅速なエンジニアリングと微調整は重要な研究領域として探求されるべきです。ゲーム理論的なシャプレー値は、除去研究における信用割り当てに使用でき、シャプレー値の計算とその応用に関するさらなる研究が必要です。

「このタイトルを無視してHackAPrompt：LLMのシステム的な脆弱性の暴露」

想像してください：あなたはバーに入ろうとしていて、用心棒が入れないと言います個人的な招待が必要ですどうしますか？通常、受け入れて家に帰るか、次のバーを試しますもしも...

xAIはPromptIDEを発表しました：Promptエンジニアリングと人工知能AIの透明性における新たなフロンティア

人工知能開発における画期的な一手として、xAIはPromptIDEを公開しました。PromptIDEは、プロンプトエンジニアリングと機械学習モデルの解釈性を革新するために設計された最先端の統合開発環境です。この革新的なツールは、Grokプラットフォームの基本モデルであるGrok-1の複雑な解析に取り組むエンジニアや研究者にとって大変便利なものです。PromptIDEはモデルの思考プロセスに覗きを提供し、プロンプトに対する言語モデルの応答方法やその出力の精度と関連性を深く理解することが可能になります。 PromptIDEの中核にはPythonのコードエディタがあり、新たにリリースされたSDKとともに、複雑なプロンプト技術の実装が可能です。この強力な組み合わせにより、モデルのパラメータをリアルタイムに探索・操作することができます。 PromptIDEがもたらす最も重要な進歩の1つは、豊富な分析スイートです。プロンプトが実行されると、IDEはトークンごとの分解、サンプリング確率、代替トークンの提案、アテンションの可視化など、多くの情報を提供し、モデルの意思決定プロセスを詳しく分析できます。これらの技術的な特長に加えて、PromptIDEはユーザーエクスペリエンス向上のための使いやすい機能も提供しています。全てのプロンプトは自動的に保存され、変更履歴の追跡を簡単にするためのバージョン管理システムが組み込まれており、分析結果は比較的研究のために永久的に保存することができます。さらに、ファイル処理機能の追加により、環境内でデータのアップロードと処理が可能となります。SDKの並行処理機能により、非常に大規模なデータセットでも迅速に処理することができます。 xAIは単なるツールを提供するだけでなく、コミュニティを育てています。PromptIDEは共同作業を可能にし、ユーザーはボタンをクリックするだけでプロンプトと関連する分析結果を共有できます。この機能により、共有学習の経験とプロンプトエンジニアリング技術の累積的な進歩が実現されます。現在、PromptIDEはxAIのアーリーアクセスプログラムの参加者に限定されていますが、既にAIコミュニティで話題となっています。PromptIDEは、Grokの開発を加速するだけでなく、AIベースのアプリケーションの透明性と効果性を向上させる道を切り開くことが期待されています。 AI開発の新たな時代の門出に立つ今、PromptIDEは機械学習技術との対話、理解、ガバナンスの未来を形作る重要な役割を果たすことが予想されます。これはAIのよく分からないプロセスを明らかにし、開かれた進歩に取り組むxAIのコミットメントの証です。アーリーアクセスプログラムに興味がある方々は、PromptIDEの特徴について包括的な解説を期待することができます。これにより、透明で協力的、そして最も重要なことは手の届く範囲であるAI開発の未来の一端を垣間見ることができます。 Announcing the xAI PromptIDE The xAI PromptIDE is an integrated development environment for prompt…

もし3分しか時間がない場合、このChatGPT Dense Summary Promptはあなたのためです

強力な要約は短く、弱い要約は不必要に長くなります強力な要約にはソースドキュメントからの主要な実体（またはキャラクター）がありますが、弱い要約にはそれらが欠けています強力な要約には優れた...

「マイクロソフトと清華大学によるこのAI研究は、EvoPromptという新しいAIフレームワークを紹介しますこのフレームワークは、LLMと進化アルゴリズムを接続するための自動的な離散プロンプト最適化を実現します」

大規模言語モデル（LLM）はほとんどすべての自然言語処理（NLP）のタスクで優れた成績を収めています。しかし、従来のファインチューニング手法はLLMにとって高コストであり、LLMパラメータを変更せずに学習可能なプロンプト埋め込みを使用する連続プロンプトチューニング技術の開発が行われています。ただし、これらの手法はまだLLMパラメータへのアクセスを必要とし、GPT-3やGPT-4などのブラックボックスAPIでアクセスされるLLMには適していません。この論文では以下の貢献があります： EVOPROMPTの導入：著者は、離散プロンプトの最適化を自動化するための新しいフレームワークであるEVOPROMPTを紹介しています。このフレームワークは、大規模言語モデル（LLM）と進化的アルゴリズム（EA）を結びつけ、以下の利点を提供します： LLMパラメータや勾配へのアクセスは必要ありません。探索と利用のバランスを効果的に取ることで、結果の改善が図られます。人間により理解しやすいプロンプトを生成します。実証的な証拠：本論文では、9つの異なるデータセットで行われた実験により、EVOPROMPTの既存の手法との比較における効果を示す実証的な証拠を提供しています。感情分類、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、最大14％の性能向上が示されました。最適なプロンプトの公開：著者は、EVOPROMPTを用いて得られた最適なプロンプトを共有することで貴重な貢献をしています。これらのプロンプトは、感情分析、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、研究コミュニティや実践者に利用されることができます。 LLMの革新的な利用：この論文は、適切な指示が与えられた場合にLLMを用いて進化的アルゴリズムを実装する概念を先駆けています。この新しいアプローチにより、LLMと従来のアルゴリズムを組み合わせた潜在的な応用の可能性が広がります。 EVOPROMPTを実用化するためには、特定の進化的アルゴリズム（EA）と組み合わせることが重要です。さまざまな種類のEAが存在し、この論文では2つの広く認識されているアルゴリズム、遺伝的アルゴリズム（GA）と差分進化（DE）に焦点を当てています。上記の画像は、LLMによる離散プロンプト最適化のために実装されたGAプロセスを示しています。研究者は、LLMが従来のアルゴリズムを実装するための効果的で解釈可能なインターフェースを提供し、人間の理解とコミュニケーションとの良好な一致を確保すると考えています。この研究結果は、LLMが誤って予測されたサンプルを収集することで、離散空間で「勾配降下法」を実行する最近の傾向を裏付けています。大規模言語モデル（LLM）の能力を最大限に活用し、自然言語の指示を用いて人間との対話を通じて多様なアルゴリズムの実行を調査するためには、追加の研究の機会が存在します。LLMがシミュレーテッドアニーリングなどの微分フリーアルゴリズムにおいて潜在的な解を生成できるかどうかなど、探索のアイデアが含まれます。

「Google DeepMindの研究者たちは、PROmptingによる最適化（OPRO）を提案する：大規模言語モデルを最適化器として」

人工知能の分野では、自然言語処理、自然言語生成、自然言語理解、およびコンピュータビジョンなどのサブフィールドがますます人気を集めています。最近注目を浴びている大規模言語モデル（LLM）は、最適化のための最適化器として使用されています。その能力は最適化手法の向上のために自然言語の理解に利用されています。最適化はさまざまな産業やコンテキストで実用的な意味を持っています。派生ベースの最適化手法は、さまざまな問題をうまく処理することが実証されています。これには、グラデーションが現実的な状況では時々しか利用できない場合があるため、困難な問題が生じます。この問題に対処するために、Google DeepMindの研究者チームは、Optimisation by PROmpting (OPRO) と呼ばれる独自のアプローチを提案しました。LLMを最適化器として使用することで、OPROは直感的で非常に強力な技術を提供します。この場合、主な新しさは、最適化タスクを表現するために日常言語を使用することで、プロセスがより簡単でアプローチしやすくなることです。 OPROは、最適化問題の自然言語での説明を提供することから始まります。これにより、問題が複雑な数式ではなく簡単な言語で表現されるため、理解しやすくなります。次に、反復的な解生成が提供されます。LLMは、与えられた自然言語プロンプトに基づいて、各最適化ステップごとに新しい候補解を作成します。このプロンプトは重要であり、以前に作成された解とそれに関連する値の詳細を含んでいます。これらの従来のオプションは、さらなる開発の出発点として機能します。更新および評価された解が開発され、そのパフォーマンスまたは品質が評価されます。次の最適化ステップのプロンプトには、これらの解が検査された後に含まれます。反復プロセスが進むにつれて、解は徐々に改善されます。OPROの有効性を示すために、いくつかの実用的な例が使用されています。最初に、OPROは2つのよく知られた最適化問題、線形回帰問題と巡回セールスマン問題に取り組むために使用されました。これらの問題は顕著であり、手法の有効性を評価するための基準となります。OPROは、これらの問題に対して優れた解を見つける能力を示しました。次に、OPROはプロンプトの最適化に使用されました。OPROは、特定の最適化問題に対処するだけでなく、プロンプト自体の最適化にも取り組んでいます。タスクの精度を向上させる指示を見つけることが目標です。特に自然言語処理を含むタスクでは、プロンプトの構造と内容が結果に大きな影響を与えることがあります。チームは、OPROによって最適化されたプロンプトが一貫して人間が作成したものよりも優れていることを示しました。ある例では、OPROはBig-Bench Hardのワークロードのパフォーマンスを驚異的な50%向上させ、GSM8Kベンチマークでは最大8%向上させました。これは、OPROが最適化結果の改善において非常に大きな潜在能力を持っていることを示しています。結論として、OPROは大規模言語モデルを利用した最適化の革新的な手法を提案しています。OPROは、最適化問題を通常の言語で説明し、解を繰り返し生成および改善することで、一般的な最適化問題の解決とプロンプトの改善において、従来の手法に比べて著しいパフォーマンスの向上を示しています。特に、グラデーション情報が利用できないか収集が困難な場合には、その効果が顕著です。

マイクロソフトの研究者がPromptTTS 2を発表：声の変動性と費用対効果の向上によるテキスト読み上げの革新

合成音声の理解度と自然さは、最近のテキスト読み上げシステムの進歩により向上しています。大規模なTTSシステムは、複数の話者の設定に対応するために作成され、一部のTTSシステムは単一の話者の録音と同等の品質に達しています。これらの進歩にもかかわらず、声の変動性をモデル化することはまだ困難です。同じフレーズを言う方法が異なる場合、感情やトーンなどの追加情報を伝えることができます。従来のTTS技術は、スピーカー情報や音声プロンプトに頼ることが多く、声の変動性をシミュレートするために使用されます。しかし、これらの技術はユーザーフレンドリーではありません。スピーカーIDが事前に定義されており、適切な音声プロンプトを見つけることが困難または存在しないためです。声の変動性をモデル化するより有望なアプローチは、音声生成の意図を伝えるために自然言語を使用するテキストプロンプトを利用することです。この戦略により、テキストプロンプトを使用して簡単に声を作成することができます。テキストプロンプトに基づくTTSシステムは、通常、音声データセットとそれに対応するテキストプロンプトを使用してトレーニングされます。音声の変動性やスタイルを説明するテキストプロンプトを使用して、モデルが音声を生成する方法を制御します。テキストプロンプトに基づくTTSシステムは、次の2つの主な課題に直面しています： • 一対多の課題：声の品質は人によって異なるため、書かれた指示ではすべての音声の側面を正確に表現することは困難です。異なる音声サンプルは不可避的に同じプロンプトに関連付けられる場合があります。一対多の現象は、TTSモデルのトレーニングをより困難にし、過学習やモードの崩壊を引き起こす可能性があります。彼らの知る限り、テキストプロンプトに基づくTTSシステムにおいて一対多の問題を解決するために明示的に作成された手順は存在していません。 • データスケールの課題：テキストプロンプトはインターネット上では一般的ではないため、声を定義するテキストプロンプトのデータセットを作成することは容易ではありません。その結果、ベンダーにテキストプロンプトを作成するために雇われることがあり、これは費用と時間のかかる作業です。プロンプトデータセットは通常小さく、またはプライベートであり、プロンプトベースのTTSシステムに関するさらなる研究を行うことが困難です。彼らの研究では、PromptTTS 2を提供し、プロンプトでは捉えることのできない音声の変動情報をモデル化するためのバリエーションネットワークの提案を行っています。大規模な言語モデルを使用して高品質のプロンプトを生成し、上記の課題に取り組んでいます。彼らはバリエーションネットワークを提案し、テキストプロンプトから音声の変動に関する欠落した情報を予測するためにトレーニングに参加する参照音声を使用します。 PromptTTS 2のTTSモデルは、テキストプロンプトエンコーダ、参照音声エンコーダ、テキストプロンプトエンコーダと参照音声エンコーダによって取得された表現に基づいて音声を合成するTTSモジュールから構成されます。テキストプロンプトエンコーダ3からの即時表現に基づいて、バリエーションネットワークは参照音声エンコーダからの参照表現を予測するためにトレーニングされます。テキストプロンプトに条件付けられたガウスノイズから多様な音声の変動性に関する情報を選択するために、バリエーションネットワーク内の拡散モデルを使用して合成音声の品質を変更することができます。マイクロソフトの研究者は、音声理解モデルを使用して音声から声の特徴を認識し、大規模な言語モデルを使用して認識結果に基づいてテキストプロンプトを構築することで、音声のためのテキストプロンプトを自動的に作成するためのパイプラインを提案しています。具体的には、音声理解モデルを使用して、音声データセット内の各音声サンプルの属性値を識別し、さまざまな特徴から声を説明します。次に、これらのフレーズを組み合わせてテキストプロンプトを作成します。以前の研究では、ベンダーによるフレーズの構築と組み合わせに頼っていましたが、PromptTTS 2では、さまざまなタスクを人と同等のレベルで実行することが証明されている大規模な言語モデルを使用しています。彼らは、優れたプロンプトを作成するためのLLMの指示を提供します。完全に自動化されたワークフローのおかげで、プロンプトの作成にはもはや人間の介入は必要ありません。以下は、この論文の貢献の要約です： • テキストプロンプトに基づくTTSシステムにおける一対多の問題を解決するために、拡散モデルに基づくバリエーションネットワークを構築し、テキストプロンプトではカバーされていない音声の変動性を説明します。音声の変動性は、推論中にテキストプロンプトに条件付けられたガウスノイズからのサンプルを選択することによって管理することができます。 • テキストプロンプトの作成パイプラインと大規模な言語モデルによって生成されたテキストプロンプトデータセットを構築し、高品質なプロンプトを提供します。このパイプラインにより、ベンダーへの依存が軽減されます。 • 44000時間の音声データを使用して、彼らはPromptTTS 2を大規模な音声データセットでテストします。実験の結果、PromptTTS 2は、ガウスノイズからサンプリングすることで音声の変動を制限する一方で、テキストのプロンプトにより近い声を生成するという以前の研究を上回っています。

新しいChatGPT Promptエンジニアリング技術：プログラムシミュレーション

プロンプトエンジニアリングの世界は、さまざまなレベルで魅力的であり、ChatGPTのようなエージェントが特定の種類の応答を生成するための巧妙な方法は不足していませんテクニックとしては、...

「Prompt Engineering Is Not a Thing」はありません

「OpenAIのGPTシリーズのような大規模な言語モデルの台頭は、自然言語処理を変革しましたしかし、「プロンプトエンジニアリング」は重要なのでしょうか？こちらで詳しく確認してください」

CMU（カーネギーメロン大学）と清華大学の研究者が提案した「Prompt2Model：自然言語の指示から展開可能なAIモデルを生成する汎用メソッド」

与えられた問題を解決するためにNLPモデルを構築したいと考えたとします。まず、タスクの範囲を定義し、その後、意図したシステムの振る舞いを特定するデータを見つけるか作成し、適切なモデルのアーキテクチャを選択し、モデルをトレーニングし、評価を通じて性能を評価し、最後に実世界での使用のために展開します。研究者たちは、このような包括的なNLPモデルを1行のコードでプロトタイプ化することが可能になりました！ https://arxiv.org/abs/2308.12261 Prompt2Modelは、シンプルなプロンプトを使用してシステムの振る舞いを指定でき、同時にすべての利点を保持した展開可能な特殊な目的のモデルを提供するシステムです。上の図は、Prompt2Modelの動作アーキテクチャを示しています。基本的には、ユーザープロンプトからタスクに関する必要な詳細を抽出し、タスク関連の情報を収集し結合し、以下の異なるチャネルを使用して展開する自動パイプラインとして機能します。データセットの取得：プロンプトが与えられた場合、最初のタスクは、ユーザーのタスクの説明をサポートする既存の手動注釈付きデータを見つけることです。データセットの生成：幅広いタスクをサポートするために、ユーザーの特定の要件に従って合成トレーニングデータを生成するためのデータセットジェネレータが存在します。プロンプトパーサーによって解析されたユーザー固有の要件には、コンテキスト学習を備えたLLMが含まれており、OpenAIのgpt-3.5-turbo-0613を使用してユーザープロンプトをセグメント化するために使用されます。モデルの取得：提供されたプロンプトを使用して、ユーザーの目標に適した事前学習済み言語モデルが選択されます。この選択されたモデルは学生モデルとして機能し、生成および取得したデータを用いてさらに微調整および評価されます。 Webアプリ：最後に、訓練されたモデルと対話するための使いやすいグラフィカルユーザーインターフェースが存在します。このGradioを使用して作成されたWebアプリケーションは、簡単にサーバー上に公開されることができます。結論として、Prompt2Modelは、小規模で競争力のあるNLPシステムを迅速に構築するためのツールです。手動のデータ注釈やアーキテクチャなしに、数時間でLLMを上回るタスク固有のモデルを直接生成することができます。拡張性のある設計を持つモデルは、モデルの蒸留、データセットの生成、合成評価、データセットの取得、モデルの取得といった新しい技術の探索のためのプラットフォームを提供することができます。将来を見据えると、Prompt2Modelは協力的なイノベーションの触媒となることができます。異なる課題を提案することで、研究者は将来のフレームワークの各コンポーネントにおける多様な実装と改善の発展を促すことを目指しています。

Learn more about Search Results MPT