Search Results MPT

「ChatGPT AI-1の解放：高度なLLMベースのシステムの構築」

導入この記事では、チャットGPT AI-1を使ったLLM（大規模言語モデル）に基づくシステムの構築について説明します。読者がプロンプトエンジニアリングの基礎について理解していることを前提としています。概念を理解するためには、以下を参照してください：https://www.analyticsvidhya.com/blog/2023/08/prompt-engineering-in-generative-ai/ この記事はステップバイステップのアプローチで行われます。トピックの大きさを考慮して、記事を3つのパートに分けています。これはそのうちの最初のパートです。システムには単一のプロンプトだけでは十分ではなく、LLMベースのシステムの開発部分に詳しく取り組みます。学習目標 LLMベースのシステム構築の始め方を学ぶ。 LLMの動作原理を理解する。トークンとチャットフォーマットの概念を理解する。分類、モデレーション、思考の連鎖推論を適用してシステムを構築する。この記事はデータサイエンスブログマラソンの一環として公開されました。 LLMの動作メカニズムテキスト生成プロセスでは、プロンプトが与えられ、LLMに対してそのプロンプトを完成させるものを埋めるように求められます。例: 数学は_______です。LLMは「興味深い科目、すべての科学の母など」と埋めることができます。大規模言語モデルは、教師付き学習によってこれらすべてを学習します。教師付き学習では、モデルは入力と出力の関係をラベル付きのトレーニングデータを通じて学習します。X-Yマッピングにも同じプロセスが使用されます。例: ホテルのフィードバックの分類。部屋が素晴らしかったという口コミは肯定的な感情のレビューとしてラベル付けされ、一方で「サービスが遅い」という口コミは否定的な感情としてラベル付けされます。教師付き学習では、ラベル付けされたデータを取得し、それらのデータを使ってAIモデルをトレーニングします。トレーニング後はデプロイされ、最終的にモデルが呼び出されます。今度は美しい場所のような新しいホテルのレビューを与えて、結果が肯定的な感情であることを期待します。大規模言語モデルには基本的なLLMと指示に調整されたLLMの2つの主要なタイプが存在します。これらの概念を理解するために、以下のリンク先の記事を参照してください。基本的なLLMを変換するプロセスとは？基本的なLLMを指示に調整されたLLMに変換するプロセスは以下の通りです:1. 基本的なLLMは大量のデータ（数百億の単語）でトレーニングする必要があります。このプロセスは広範なスーパーコンピューターシステムで数か月かかることがあります。2. モデルは、小規模な例のセットに対してファインチューニングを行うことでさらにトレーニングされます。3. 出力の品質に対するさまざまなLLMの評価（出力が役に立つかどうか、正直かどうか、無害かどうかなどの基準）を人間から得るためのツールとして、RLHF（Reinforcement Learning…