『あなた自身の個人用ChatGPT』

個人用ChatGPT

カスタムデータを使用してOpenAIのGPT-3.5 Turboモデルを微調整して新しいタスクを実行する方法

OpenAIからChatGPTの微調整機能が発表されたというメールを受け取った時、私はとても興奮しました。このアップデートは、開発者やビジネスがモデルをカスタマイズして特定の要件に合わせるためのリクエストに応えて提供されました。この微調整を活用することで、操作性を向上させ、より一貫した出力形式を実現し、望ましいカスタムトーンを確立することが可能になりました。また、注目すべき別の側面は、ユーザーが短いプロンプトを送信しても、パフォーマンスに大きな低下がないことです。

OpenAIは、開発者ブログ[1]で次のように述べています。

このアップデートにより、開発者は使用ケースに合わせてパフォーマンスが向上するカスタムモデルを作成し、これらのカスタムモデルをスケールで実行することができます。初期のテストでは、GPT-3.5 Turboの微調整バージョンが、特定の狭いタスクにおいてベースのGPT-4レベルの機能を達成、あるいは上回ることが示されています。当社のすべてのAPIと同様に、微調整APIを介して送信されるデータは顧客の所有物であり、OpenAIや他の組織によって他のモデルの訓練に使用されることはありません。— Andrew Peng, et al., OpenAI

この記事では、私がVoAGIの記事からのテキストをトレーニングおよびテストデータとして使用して、プレーンテキストを自動的にMarkdown形式に変換する方法を示します。実験について説明する前に、ChatGPTについて少しの背景情報をご紹介します。

• 「屋内モデリングのための3Dポイントクラウド形状検出」
• トランスフォーマーにおけるアテンションの説明【エンコーダーの観点から】
• シミュレーション106：ネットワークを用いた情報拡散と社会伝染のモデリング

背景

ChatGPTとして知られるAIモデルは、2022年11月に導入されました[2]。これはOpenAIが公開した最初のパブリックチャットボットであり、私はVoAGIで何度かこのモデルについて書いてきました。このモデルは一般的なチャットボットとしても非常に優れていますが、いくつかの制約があります。たとえば、そのトレーニングの切り捨ては2021年9月であるため、それ以降の新しい情報については直接知りません。モデルのデータをフェッチして拡張するためのブラウザプラグインの使用は可能ですが、現在は遅くて手間がかかります。

ChatGPTに新しい情報やスキルを注入するより良い方法は、OpenAIの微調整APIを使用することです。APIを介したChatGPTの微調整は、通常のプロンプトよりも改善された結果を提供します。プロンプトが処理できるよりも多くの例でトレーニングすることができ、トークンを保存するための短いプロンプトにつながり、より迅速な結果をもたらします…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!