Search Results MPT

「どのテキストもコンセプトのグラフに変換する方法」

テキストコーパスから知識グラフ（コンセプトグラフ）をMistral 7Bを使用して作成する

オープンAIは、最新のモデルGPT-4 Turboを発表しました

今週、OpenAIは公式ウェブサイトのブログを通じて、ChatGPTの複数の新機能を発表しましたまた、彼らは最近の開発者会議で、他のAIパワードツールに関する新しい情報も公開しました2023年はGPTのリリースの年になるようで、実際、OpenAIは3月にGPT-4を発表しました

モデルアーキテクチャのための生成AIに向けて

「Attention is All You Need」というトランスフォーマー革命は、深層学習モデルのアーキテクチャの設計に深い影響を与えましたBERTが登場して間もなく、RoBERTa、ALBERT、DistilBERTが続きました...

マイクロソフトの研究者たちは「エモーションプロンプト」を発表しました：複数の言語モデルにおけるAIの感情的知性を向上させる

感情的知性は、人間の質の多様なモザイクの中に位置する歴史的な要素です。感情の理解は、感情的なデータを正しく認識し処理し、そのデータを問題解決や行動管理のような論理的かつ分析的なプロセスの適用に利用する能力です。反射、知覚、認知、行動はすべて感情を生み出し、さまざまな内的および外的要因がこれらの要素に影響を与えることができます。自己モニタリング、社会認知理論、ポジティブな感情の重要性は、感情の制御が人間の問題解決能力に影響を与えることを示しています。その広範囲な効果のため、感情調整理論は教育や健康など、さまざまな分野で使用されています。 CAS、Microsoft、ウィリアム&メアリー大学、北京師範大学、香港科技大学による新しい研究は、EQと洗練されたAIモデルとの関連を調査しています。新興の大規模言語モデル（LLM）は、推論、自然言語処理と生成、STEM問題解決など、さまざまなタスクで印象的なパフォーマンスを発揮しており、人工一般知能への有望な研究の取り組みの一つとなっています。最近の研究では、LLMによる人間によって開発された困難なタスクの実行を許すことで、LLMはAGIへの顕著な潜在能力を示すと示唆されています。しかし、LLMが心理的な感情の衝動を解釈できるかどうかはまだ不明です。心理学的な域内学習方法を使用して、いくつかの学者はさまざまな分野で大きな進歩を遂げています。ただし、容量の違いがあるため、現在利用可能な方法からすべてのLLMが同じように利益を得るわけではありません。最近の研究では、LLMが感情的な手がかりを認識し処理できることが示されていますが、この研究ではLLMの感情的知性がパフォーマンスの向上にどのような重要な影響を与えるかは評価されていません。この新しい研究は、LLMが感情の刺激を理解し活用する潜在能力を調査するための最初のステップを踏み出します。希望、自信、および同輩の承認と関連付けられた感情的手がかりが、以前の心理学的研究で肯定的な効果を持つことが証明されています。この現象の現実世界の応用には、学業成績の向上や身体の健康増進のための励ましの言葉が含まれます。研究者らはこれらの心理学的プロセスに着想を得て、LLMの感情的知性を調査するためのシンプルで強力な方法であるEmotionPromptを提案しました。具体的には、感情的な反応を引き起こすために使用される心理フレーズとして11の文を設計しました。幅広い難易度レベルを含む決定論的および生成課題を、彼らの詳細な調査で使用しています。彼らはFlanT5-Large、Vicuna、Llama 2、BLOOM、ChatGPT、GPT-4など、いくつかのLLMでトライアルを行いました。これらのトライアルは24のインストラクション誘導タスクと21のカリキュレートBIG-Benchタスクであり、いずれも決定論的で一般的なメトリックで評価できます。GPT-4に基づいてバニラおよび感情的なプロンプトを使用してタスクの生成品質を判断するために、106人の参加者を対象に人間の研究を行いました。その人間の研究では、感情的なプロンプトが生成タスクのパフォーマンス（パフォーマンス、真実性、責任度の平均改善率が10.9％）を有意に向上させることが示されました。一方、標準的な実験では、LLMは感情的な知性を持ち、感情的な刺激によって向上させることができることが示されています。研究者らはまた、EmotionPromptがLLMにとってなぜ有益なのかを、入力注意を通じた感情的な刺激の最終出力への影響を評価することによって分析しました。その結果、LLMの勾配は感情的な刺激からより重要な重みを持つことで恩恵を受け、元のプロンプトの表現を改善することにより結果を向上させます。モデルのサイズや温度がEmotionPromptの効果にどのような影響を与えるかを学ぶために、彼らは消去研究を実施しました。最後に、多くの感情的な手がかりを一緒に使用することがパフォーマンスにどのような影響を与えるかを調べ、それが結果を大幅に改善することが示されました。探索誘導の場合、EP02が最も優れた刺激であり、最も劣った刺激に比べてパフォーマンスが6.06％向上しました。一方、BIG-Benchの場合、EP06が最も優れた刺激です。刺激のパフォーマンスには、タスクの複雑さ、タスクの種類、使用されるメトリックなど、さまざまな要素が影響することを忘れずにおいてください。

「Azure OpenAI Studioを使用したNL2SQLシステムのセットアップ方法」

前の記事では、ユーザーのリクエストからSQLコマンドを生成するためのプロンプトのセットアップ方法を学びました今回は、Azure OpenAI Studioを使用して推論エンドポイントを作成する方法について見ていきます

潜在一貫性LoRAsによる4つのステップでのSDXL

潜在的一貫性モデル（LCM）は、ステーブルディフュージョン（またはSDXL）を使用してイメージを生成するために必要なステップ数を減らす方法です。オリジナルモデルを別のバージョンに蒸留し、元の25〜50ステップではなく4〜8ステップ（少ない）だけを必要とするようにします。蒸留は、新しいモデルを使用してソースモデルからの出力を再現しようとするトレーニング手順の一種です。蒸留されたモデルは、小さく設計される場合があります（これがDistilBERTや最近リリースされたDistil-Whisperの場合）または、この場合のように実行に必要なステップ数を減らします。これは通常、膨大な量のデータ、忍耐力、およびいくつかのGPUが必要な長時間かかる高コストのプロセスです。それが今日までの現状でした！私たちは、Stable DiffusionとSDXLを、まるでLCMプロセスを使用して蒸留されたかのように、速くする新しい方法を発表できることを喜ばしく思います！3090で7秒の代わりに約1秒、Macで10倍速くSDXLモデルを実行する、というのはどうですか？詳細は以下をご覧ください！目次メソッドの概要なぜこれが重要なのか SDXL LCM LoRAsによる高速推論品質の比較ガイダンススケールとネガティブプロンプト品質 vs. ベースのSDXL 他のモデルとのLCM LoRAs フルディフューザーズの統合ベンチマーク今日リリースされたLCM LoRAsとモデルボーナス：通常のSDXL LoRAsとの組み合わせ LCM…

DLノート：勾配降下法

人工ニューラルネットワーク（ANN）は、万能関数近似器です十分なデータが与えられ、適切なアーキテクチャがあり、十分な訓練が行われれば、複雑な関数を近似することができます...

ドックスからコードの生成には、LLMsを使用します

大規模言語モデル（LLMs）は、詳細な医師のメモを正確な医療コードに迅速に翻訳することで、効率と正確性を向上させます

「KOSMOS-2：Microsoftによるマルチモーダルな大規模言語モデル」

イントロダクション 2023年はAIの年となりました。言語モデルから安定した拡散モデルの強化にSegMind APIを使うまで、AI技術は進化し続けています。その中で、Microsoftが開発したKOSMOS-2が注目を浴びています。これはマイクロソフトによって開発されたマルチモーダルの大規模言語モデル（MLLM）であり、テキストと画像の理解力において画期的な能力を発揮しています。言語モデルを開発することは一つのことですが、ビジョンモデルを作成することは別のことです。しかし、両方の技術を組み合わせたモデルを持つことは、さらなるレベルの人工知能を実現することになります。この記事では、KOSMOS-2の特徴と潜在的な応用について掘り下げ、AIと機械学習への影響を解説します。学習目標 KOSMOS-2のマルチモーダル大規模言語モデルの理解 KOSMOS-2のマルチモーダルグラウンディングと参照表現生成の仕組みの学習 KOSMOS-2の現実世界での応用について洞察を得る KOSMOSを使ったColabでの推論の実行この記事はデータサイエンスブログマラソンの一部として公開されました。 KOSMOS-2モデルの理解 KOSMOS-2はマイクロソフトの研究チームによる研究成果で、そのタイトルは「Kosmos-2: Grounding Multimodal Large Language Models to the World（KOSMOS-2：マルチモーダル大規模言語モデルのグラウンディング）」です。テキストと画像を同時に処理し、マルチモーダルデータとの相互作用を再定義することを目指して設計されたKOSMOS-2は、他の有名なモデルであるLLaMa-2やMistral AIの7bモデルと同様にトランスフォーマーベースの因果言語モデルのアーキテクチャを採用しています。しかし、KOSMOS-2の特徴はその独自のトレーニングプロセスです。特殊なトークンとして画像内のオブジェクトへの参照を含むテキストである、GRITと呼ばれる巨大なデータセットでトレーニングされています。この革新的なアプローチにより、KOSMOS-2はテキストと画像の新たな理解を提供することができます。マルチモーダルグラウンディングとは何ですか？ KOSMOS-2の特徴的な機能の一つは、「マルチモーダルグラウンディング」の能力です。これは、画像のオブジェクトとその位置を記述するイメージキャプションを生成することができるという意味です。これにより、言語モデルにおける「幻覚」の問題を劇的に減少させ、モデルの精度と信頼性を向上させることができます。この概念は、テキストを画像内のオブジェクトに特殊なトークンを通じて接続し、実質的にはオブジェクトを視覚的な文脈に結びつけるというものです。これにより幻覚が減少し、正確なイメージキャプションの生成能力が向上します。…

「LLM革命：言語モデルの変革」

イントロダクション言語モデルの世界は、特に大規模言語モデル（LLM）の登場により、過去数年間で劇的な進化を遂げました。これらのモデルは、数十億のパラメータと自然言語の深い理解を備えており、人工知能の分野を変革するのに重要な役割を果たしてきました。今日は、この革命を探求し、クローズドソースからオープンソースのLLMへの移行、ファインチューニングの重要性、そして最近登場した効率的なファインチューニング技術の開発に焦点を当てます。学習目標：クローズドソースとオープンソースのLLMの違いを知る。 LLMの伝統的なファインチューニングとパラメータ効率のファインチューニングを理解する。異なるパラメータ効率のファインチューニング戦略を探索する。効率的なファインチューニングのためのLudwigの使用方法を学ぶ。クローズドソース vs オープンソースのLLM：適切なアプローチの選択言語モデルの景色は、OpenAIなどの企業が提供するクローズドソースのモデルと、Meta、Googleなどの機関が提供するオープンソースのバリアントとの2分することがありました。ChatGPT、GPT 3.5、GPT 4などのクローズドソースのLLMは、管理されたインフラストラクチャと迅速なプルーフオブコンセプトの能力により、魅力的な出発点を提供します。これらのモデルは、高品質の事前学習データセットを提供し、インフラストラクチャのセットアップは不要であり、LLMの能力を探求する人々にとって簡単な入り口となります。しかし、アクセス性にもかかわらず、クローズドソースのLLMには根本的な制約があります。これらはモデルの所有権を欠き、最小限のカスタマイズ能力しか提供せず、特にデータプライバシーやモデルの制御が重要なセクターでは、長期的な投資には適していません。これに対し、オープンソースのLLMは有望な代替手段です。完全なモデルの所有権とカスタマイズが可能であり、オープンソースの領域での革新的な開発への即時アクセスを容易にします。そのトレードオフは、これらのモデルを自己ホスティングするための費用と課題です。伝統的なファインチューニング vs パラメータ効率のファインチューニングファインチューニングは、特にドメイン固有のタスクを考慮する際に、LLMの潜在能力を最大限に引き出すための重要なプロセスとして浮かび上がります。クローズドソースのモデルは、ファインチューニングに必要な柔軟性を欠いている一方、オープンソースのモデルはこのプロセスに完全な制御を提供します。ファインチューニングにより、事前学習済みのLLMを特定のタスクに適応させるためにモデルの重みを更新し、パフォーマンスを向上させることができます。これは一般的なモデルを専門的なアプリケーションに合わせてパーソナライズする手段であり、ユニークなタスクのためにパフォーマンスを最適化することを可能にします。ファインチューニングとRetrieval Augmented Generation（RAG）などのモデルの間の議論は、特定のタスクに合わせたモデルの必要性と一般的な目的を持つ知能の間の関係に焦点を当てています。LLMのオープンソースの性質は、カスタマイズと効率的なファインチューニングを可能にし、優れたタスク固有のパフォーマンスを実現するために必要です。伝統的なファインチューニングには、すべてのモデルのパラメータを更新するというリソースを多く消費し、時間がかかり、必ずしも最適なタスク固有のパフォーマンスをもたらすわけではありませんというプロセスの制約があります。しかし、パラメータ効率のファインチューニングにおける最近のイノベーションは、この制約を打破しました。事前学習済みのLLMを凍結し、非常に小さなセットのタスク固有のレイヤーのみをトレーニングすることにより、効率的なファインチューニングはリソースに優しく、より効果的な方法で行われます。パラメータ効率のファインチューニングへの移行は、LLMを特定のタスクに適応させる方法に大きな影響を与えています。タスク固有のレイヤーの最小限のセットのみに焦点を当てることにより、プロセスは費用効果が高く、時間効率が良くなります。この革新的なアプローチにより、データセットが小さくても最適なタスク固有のパフォーマンスが実現され、クローズドソースのモデルに比べてオープンソースのLLMの潜在能力が示されます。 MetaによるLIMA論文などの研究は、GPT…

Learn more about Search Results MPT - Page 22