ChatGPTの振る舞いは時間の経過と共に変化していますか？研究者がGPT-3.5とGPT-4の2023年3月版と2023年6月版を4つの異なるタスクについて評価します

ChatGPTの振る舞いは時間と共に変化しますか？研究者がGPT-3.5とGPT-4の異なるタスクを評価します

大規模言語モデル（LLMs）は、人工知能の分野における最も革新的なイノベーションであることが成功裏に証明されています。BERT、PaLM、GPTからLLaMa DALL-Eまで、これらのモデルは、人間を模倣する目的で言語を理解し生成するという点で、驚異的なパフォーマンスを発揮しています。これらのモデルは、新しい情報、ユーザーの入力、および設計の変更に基づいて、継続的に改善されています。ただし、GPT-3.5およびGPT-4がどのくらいの頻度で更新されるかにはまだ不確定性があり、これらのLLMsをより広範なワークフローに統合することが困難になっています。

不安定性は、LLMの振る舞いが、プロンプトへの応答時の正確さやフォーマットなど、突然変わる場合に、ダウンストリームのパイプラインに影響を与える可能性があります。この予測不可能性は、開発者やユーザーが定期的な結果を信頼するのを困難にする可能性があり、現行のシステムやワークフローにLLMsを安定して統合することを制限するかもしれません。異なる大規模言語モデル（LLMs）の振る舞いが時間とともにどのように変化するかを研究するため、スタンフォード大学とUCバークレーの研究チームが、GPT-3.5とGPT-4の2023年3月版および2023年6月版の振る舞いを評価しました。

変化を定量化するために、モニタリングするLLMサービス、重点を置くアプリケーションシナリオ、および各シナリオでのLLMのドリフトを測定するためのメトリクスの3つの重要な要素が使用されました。この研究では、ChatGPT、GPT-4、およびGPT-3.5のコアコンポーネントが監視されています。ChatGPTが企業や個人の両方に受け入れられており、人気もありますので、これら2つのサービスを体系的かつタイムリーにモニタリングすることで、ユーザーは特定のユースケースに対してより理解しやすく、LLMsを使用することができます。

• 研究チームがニューロモーフィックコンピューティングを一歩先に進める
• フランス国立科学研究センター（CNRS）におけるAI研究は、ノイズ適応型のインテリジェントプログラマブルメタイメージャーを提案しています：タスク固有のノイズ適応型センシングへの適切なアプローチです
• メリーランド大学の新しいAI研究は、1日で単一のGPU上で言語モデルのトレーニングをするためのクラミングの課題を調査しています

研究では、OpenAIのAPIを介してアクセスできるGPT-4とGPT-3.5のメジャーバージョンの2023年3月版と2023年6月版のスナップショットを使用し、2つの日付間の変動または「ドリフト」を調査することが主な目的となっています。チームは、パフォーマンスと安全性のベンチマークとして使用される4つの一般的に研究されているLLMタスクを評価するために選びました。これらのタスクには次のものが含まれます。

1. 数学問題の解決 – 正確さは、LLMサービスが正しい回答をどれだけ頻繁に生成するかを示す指標です。

1. デリケートな質問への回答：回答率は、LLMサービスが直接的な回答をどれだけ頻繁に提供するかを示します。

1. コード生成 – プログラミング環境で即座に実行可能で、ユニットテストを満たす生成されたコードの割合。

1. 視覚的推論 – エクサクトマッチは、生成された視覚オブジェクトがソース素材と正確に一致しているかどうかを評価します。

まとめると、この研究では、GPT-4とGPT-3.5に焦点を当て、4つの選択されたタスクで評価し、専門的なパフォーマンス指標と他の一般的なメトリクスを使用して、各シナリオでのLLMのドリフトを定量化し測定することで、さまざまなLLMsの振る舞いが時間とともにどのように進化するかを調べています。研究の結果は、ユーザーがLLMの振る舞いをよりよく理解し、これらのモデルをさまざまなアプリケーションに活用するのに役立つことができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!