Search Results MPT

「私たちのLLMモデルを強化するための素晴らしいプロンプトエンジニアリング技術」

そして、その基本を超える方法について

language models

プリンストンの研究者が、構造化プルーニングを介した言語モデルの事前トレーニングの加速のためのシャアドLLaMAモデルを紹介します

“` 大型言語モデル（LLM）は、多様な自然言語タスクにおける優れた能力により、非常に人気が高まっています。彼らは急速に成長していますが、これらのモデルを訓練するために必要な巨大な計算リソースは大きな欠点です。その結果、LLaMA、MPT、Falconなどのよりコンパクトで効果的なLLM（Voice-operated Artificial General Intelligence）サイズのモデルの需要が高まっています。これらのモデルは、効果的な推論と微調整を提供することで、さまざまなユースケースをサポートすることを意図しています。しかし、最小の数十億パラメータLLMすら最初から訓練することは、多くの組織にとって計算リソースの観点から非常に高価です。研究者たちは以前から、中程度の大きさのLLaMAのような大型言語モデル（LLM）よりも小さな言語モデルが同じぐらい強力であることを示してきました。これらのモデルは、訓練にはかなりの処理能力が必要な大規模なLLMに代わるより効果的な代替手段と考えられています。最近の研究では、研究チームが、大きな事前訓練済みモデルを小さなLLMに圧縮する際に成功した技術である構造化プルーニングの有用性を調査しました。この手法は、以下の2つの基本的な戦略を利用します。ターゲット指向の構造化プルーニング：この技術は、より大きな言語モデルからレイヤー、ヘッド、中間、隠れた次元を体系的に削除して、目標の構成に調整します。この手順は始めから終わりまで実行されるため、モデルの一貫性と機能が保たれます。重要な言語理解能力を損なうことなく、モデルを最適化します。ダイナミックバッチローディング：この手法は、異なるドメインの損失レベルに応じて、各バッチ内でトレーニングデータの構成を変更します。モデルは、パフォーマンスが十分に発揮されていないタスクやドメインにより集中するように、各バッチで使用されるデータサンプルを動的に変更します。この方法により、モデルは効果的にパフォーマンスを調整し、全体的な効率を向上させることができます。 Sheared-LLaMA-1.3BとSheared-LLaMA-2.7Bは、LLaMA2-7Bモデルのプルーニングから作成されたより小さいLLMであり、この提案された手法がどれだけ効果的であるかを示しています。このトリミング手法は、訓練セットの500億トークン、またはOpenLLaMAの事前訓練予算の5%しか消費しません。これらの欠点にもかかわらず、Sheared-LLaMA-1.3BとSheared-LLaMA-2.7Bは、Pythia、INCITE、OpenLLaMAなどの同様のスケールの他の有名なLLMよりも、11の典型的な下流のタスクでより良いパフォーマンスを示します。これらのタスクは、オープンエンドの生成のための命令チューニング、読解力、常識の理解、世界知識など、さまざまなトピックについて対応しています。枝切りモデルの性能トラジェクトリーに基づくと、より多くのトークンでの追加トレーニングもさらなる利益の増大につながる可能性があります。現在の研究の試験は、最大7,000,000,000パラメータを持つモデルに限定されていますが、LLM枝切り技術は高い一般化可能性を備え、将来の調査では任意の大きさの大型言語モデルを含むことができます。要するに、LLM枝切りは、ダイナミックバッチローディングと重点的な構造化プルーニングを活用したLLMのサイズ削減の包括的なアプローチを提供します。同等のサイズのモデルよりも多様な下流のタスクで優れたパフォーマンスを発揮するSheared-LaMAモデルの構築は、それの効果を実証しています。この手法は、より効果的かつ経済的な小さなが強力なLLMを開発する方法を示し、様々なモデルサイズに利用できます。 “`

ダリー3がChatGPTの統合を持ってここに登場しました

「OpenAIの新しい画像生成モデルDALL·E 3がどのように限界を em>普及可能にするかを掘り下げてみて、画像生成がよりアクセス可能になる様子をご覧ください」(OpenAIの新しい画像生成モデルDALL·E 3がどのように限界を広げているかを調べ、画像生成のアクセス性が高まっている様子を見てみましょう)

Artificial Intelligence

信頼性のある世代をチェーンオブバーニケーションを通じて解放する迅速なエンジニアリングの飛躍

大規模言語モデルにおける幻覚を減らすための重要な手段である「Chain-of-Verification Prompt Engineering(検証チェーン・プロンプトエンジニアリング)メソッド」を探求し、信頼性と事実に基づいたAI応答を確保します

Artificial Intelligence

RAGアプリケーションデザインにおける実用的な考慮事項

「RAG（Retrieval Augmented Generation）アーキテクチャは、LLMの入力長制限と知識切り上げの問題を効率的に克服することが証明されています現在のLLMテクニカルスタックでは、RAGが…」

ファインチューニングLLM パラメータ効率の改善 (PEFT) — LoRA および QLoRA — パート1

このブログでは、パラメータ効率的微調整（PEFT）のアイデアを理解し、PEFTの2つの最も重要な手法であるLoRAとQLoRAを探求します

文法AIの向上にBERTを活用する：スロット埋め込みの力

イントロダクション会話型AI時代において、チャットボットや仮想アシスタントは普及し、私たちがテクノロジーとの対話を革新しています。これらのインテリジェントシステムはユーザーのクエリを理解し、関連する情報を提供し、さまざまなタスクを支援することができます。しかし、正確かつコンテキストに沿った応答を実現することは複雑な課題です。このプロセスを支援する重要なコンポーネントの一つがスロットの補完です。そして、BERT（Bidirectional Encoder Representations from Transformers）の登場により、その効果が大きく向上しました。この記事では、スロット補完アプリケーションにおけるBERTの役割と実装について探求し、会話型AIシステムの向上にどのように貢献するかを明らかにしていきます。学習目標会話型AIにおけるスロット補完の概念と重要性を理解する。 BERTがコンテキスト理解を活かしてスロット補完をどのように向上させるか、データの準備からファインチューニングまでの手順を学ぶ。 BERTを会話型AIに利用するメリットを知ることで、ユーザーの意図認識が向上する。この記事はData Science Blogathonの一環として公開されました。スロット補完とはスロット補完はタスク指向の会話システムにおいて重要なタスクです。ユーザーのクエリからスロットとして知られる特定の情報を抽出することです。例えば、フライト予約のシナリオでは出発都市、目的地、日付、クラスなどがスロットとなります。抽出したスロットの値は適切な応答を生成し、ユーザーの要求を効果的に実現するために使用されます。正確なスロット補完はユーザーの意図を理解し、個別化された関連する応答を提供するために重要です。スロット補完におけるBERTの力 BERTは豊富なテキストデータを前提にした文脈理解に優れており、スロット補完アプリケーションに自然な適合性があります。BERTの能力を活用することで、会話型AIシステムはスロット抽出の精度を大幅に向上させ、全体的なパフォーマンスを高めることができます。 BERTがスロット補完を向上させる方法は以下の通りです：文脈化された表現： BERTは入力シーケンス全体から文脈情報を捉え、単語やフレーズの関係性を理解することができます。この文脈理解により、スロットの境界を特定し、異なる文脈での類似した単語やフレーズを区別することができます。曖昧さ解消：ユーザーのクエリには曖昧な表現や省略形が含まれることがあり、それらを解消する必要があります。BERTは文脈の微妙なニュアンスを把握する能力があり、これにより正確なスロット値の抽出が可能になります。未知語処理： BERTの語彙には多くの単語が含まれていますが、未知語が出現する可能性もあります。しかし、BERTのサブワードトークン化アプローチにより、未知語をより小さなサブワード単位に分割し、サブワード埋め込みを使用して表現することができます。…

チャットGPTの落とし穴を乗り越える方法

ChatGPTとのやり取りにおける避けるべき一般的な間違い「ChatGPTの落とし穴を回避する方法」は、Don Kaluarachchi氏によってTowards AIに掲載されています

微調整、再教育、そして更なる進化：カスタムLLMで前進

イントロダクションほとんどの方はすでにChatGPTを使用したことがあると思います。それは素晴らしいことです。なぜなら、この記事で私たちが始める旅の最初のステップを踏んでくれたからです！新しい技術をマスターするには、まずそれを使ってみることが重要です。それは水に飛び込んで泳ぎを覚えるようなものです！🏊‍♂️ もしGenAIを探求したいのであれば、現実の問題を選び、それを解決するためのアプリケーションの構築を始めてください。GenAIの中心にあるのは、ファウンデーションモデル（FM）とも呼ばれる大規模言語モデル（LLM）です。モデルの消費者、調整者、ビルダーについては聞いたことがあるかもしれませんが、さらに詳しく説明します。 McKinseyは、それを受け手、形作り手、創り手として捉えており、GenAI Recogniseセッションで言及しています。この記事では、それぞれのレイヤーを詳しく見ていきます。プラットフォームの増殖を使用例としてそれをさらに詳しく掘り下げるために、すべてがはっきりとわかる実例に目を向けましょう。現代のテクノロジーの風景では、ほとんどのアプリが複数のプラットフォームで動作する必要があることは当然です。しかし、その中には注意点があります。各プラットフォームには独自のインターフェースと特異性があります。追加のプラットフォームへのアプリケーションのサポート拡張とそのようなマルチプラットフォームアプリケーションのメンテナンスは同じくらい困難です。しかし、そこでGenAIが駆けつけて救いの手を差し伸べます。GenAIは、プラットフォームに関係なく、アプリケーションのために統一されたユーザーフレンドリーなインターフェースを作成することを可能にします。その魔法の材料は何でしょうか？大規模言語モデル（LLM）がこのインターフェースを自然で直感的な言語に変換するのです。 Linux、Windows、Macコマンドさらに理解を深めるために、例えば私たちのマシンがLinux、Windows、またはMacである場合に、異なるシナリオごとに実行すべき正確なコマンドを知りたいとしましょう。以下の図は1つのシナリオを示しています：エンドユーザーとアプリケーション開発者への価値エンドユーザーとしては、各プラットフォームごとのコマンドを学び/知る必要がなく、自然かつ直感的に作業を完了できます。アプリケーションの開発者としては、ユーザーに見えるアプリケーションのインターフェースを、それぞれのサポートされるプラットフォームに明示的に変換する必要はありません。参照アーキテクチャ Open AIやAzure Open AIなどのさまざまなプロバイダーが提供するクラウドには、GPT3、GPT3.5、およびGPT4を含む複数のLLMが存在します。これらは補完、チャット補完などのさまざまなAPIを介して簡単にアクセスできます。 AIオーケストレータは、モデルとプロバイダー間のモデルとモデルの統一化されたアクセスをさらにシームレスにします。そのため、GenAIアプリケーションは、基礎となるプロバイダーやモデルと直接対話するのではなく、AIオーケストレータと対話します。そして、アプリケーションが必要とするように、構成可能で、または複数の基礎となるプロバイダーやモデルとのオーケストレーションを処理します。柔軟性とモジュラリティのために、アプリケーションがサポートする各プラットフォームにはプラグインを持つことができます。これから続くセクションでは、これらのプラグインとオーケストレータで行えることについて詳しく説明します。最後に、アプリケーションにはGenAIによって生成されたコマンドを実行するためにサポートするプラットフォームとの接続があります。参照テクノロジー AIオーケストレータ：…

「AIの民主化：MosaicMLがオープンソースLLM運動に与える影響」

最近、私たちはオープンソースの大規模言語モデル（LLM）の作成に関する多くの最新の研究を概観しましたこのすべての研究の中で、共通のフレームワークを使用してモデルが作成されますが、そのうちのいくつかは…

Learn more about Search Results MPT - Page 33