「ChatGPTのリリースはオープンデータの生産に影響を与えているのか？ 研究者が調査し、人気を集めるLLMがStackOverflowのコンテンツの大幅な減少をもたらしていることを検証」

Researchers investigate the impact of ChatGPT's release on open data production and confirm that the popular LLM is causing a significant decrease in StackOverflow content.

大規模言語モデル（LLM）は、新しいアップデートや新しいリリースごとに人気が高まっています。BERT、GPT、PaLMなどのLLMは、自然言語処理や自然言語理解の分野で非常に優れた能力を発揮しています。OpenAIが開発した有名なチャットボットChatGPTは、GPT 3.5やGPT 4のトランスフォーマーアーキテクチャに基づいており、100万以上のユーザーに使用されています。その人間のような性質から、研究者や開発者、学生など、あらゆる人の注目を浴びています。ChatGPTは、ユニークなコンテンツを効率的に生成し、人間のように質問に答え、長いテキストの段落を要約し、コードサンプルを完了させ、言語を翻訳するなど、さまざまなことができます。

ChatGPTは、さまざまなトピックに関する情報をユーザーに提供することに驚くほど優れていることが証明されており、これによって従来のウェブ検索の代わりや他のユーザーにオンラインでの支援を求めることができる可能性があります。しかし、私たちは制約もあります。ユーザーが大規模な言語モデルと個別に関与し続けると、一般にアクセス可能な人間生成データと知識リソースの量が劇的に減少する可能性があります。このオープンデータの減少は、将来のモデルのためのトレーニングデータの確保が困難になる可能性があります。

この問題についてさらなる研究を行うために、研究チームはStack Overflow上の活動を調査し、ChatGPTのリリースがオープンデータの生成にどのような影響を与えたかを調査しました。Stack Overflowは、コンピュータプログラマー向けのよく知られた質問応答サイトであり、多くの言語モデルが存在する場合のユーザーの行動と貢献を調査するための優れた事例研究として使用されました。チームは、ChatGPTなどのLLMが大きな人気を集めるにつれて、StackOverflowのコンテンツの減少につながっていることを調査しました。

• 自分自身のデータを使用して、要約と質問応答のために生成型AI基盤モデルを使用してください
• 「データの海を航海する：スタートアップが自律的な海洋モニタリングをチャートする」
• 日付時刻データを扱うための便利なPandasの3つのヒント

評価の結果、チームはいくつかの興味深い結論を導き出しました。ChatGPTのリリース後、Stack Overflowの活動は、中国やロシアの競合サイト、および数学の類似のフォーラムと比較して大幅に減少しました。チームは、OpenAIのChatGPTのリリース後、Stack Overflowの週間投稿数が16%減少すると予測しました。また、ChatGPTのStack Overflowへの影響は時間とともに増加しました。これは、ユーザーがモデルの機能により慣れてくるにつれて、情報をより頼りにするようになり、サイトへの貢献がさらに制限されることを示唆しています。

チームは以下の3つの重要な結論に絞り込みました。

1. 投稿活動の減少：ChatGPTのリリース後、Stack Overflowの投稿数（質問と回答）が減少しました。差分の差分法を使用して、活動の減少を計算し、他の4つのQ&Aプラットフォームと比較しました。ChatGPTの登場から6ヶ月以内にStack Overflowの投稿活動は元々約16%減少し、その後約25%に増加しました。

1. 投稿の投票に変化なし – ChatGPTのリリース以降、Stack Overflowの投稿が受けた投票（上向きと下向きの両方）の数は、投稿活動の減少にもかかわらず、大きな変化はありませんでした。これは、ChatGPTが低品質の投稿だけでなく、高品質な記事も置き換えていることを示しています。

1. 多様なプログラミング言語への影響：ChatGPTは、Stack Overflowで議論されるさまざまなプログラミング言語に多様な影響を与えました。PythonやJavaScriptなどの一部の言語では、グローバルサイトの平均に比べて投稿活動がより顕著に減少しました。投稿活動の相対的な減少は、GitHub上のプログラミング言語の普及率にも影響を受けました。

著者は、LLMの普及とStack Overflowのようなウェブサイトからの移行が、ユーザーや将来のモデルが学習できるオープンデータの量を制限する可能性があることを説明しています。これには、インターネット上の知識のアクセスと共有、AIエコシステムの長期的な持続可能性に影響があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!