データ汚染とモデル崩壊：迫りくるAIの災害
データ汚染とモデル崩壊：迫りくるAIの災害からの警鐘' (Data Osen to Moderu Houkai Semarikuru AI no Saigai kara no Keishō)
ChatGPTなどの生成AIツールはあまりにも素晴らしすぎて信じられないようです。単純なプロンプトを作成すると、プラットフォームがテキスト（または画像、動画など）を発注するために生成します。
舞台裏では、ChatGPTや同様のツールは、トレーニングデータとして広範なインターネットの情報を使用します。これが「大規模な言語モデル」（LLM）としてのこのテクノロジーの名前になります。
しかし、生成AIには欠点もあります。それは真実性よりも信憑性を重視しており、しばしば虚偽の情報を生成します（詳細は私の最近の虚偽情報についての記事をご覧ください）。
しかし、信憑性の欠如はその唯一の欠点ではありません。生成AIは、信憑性のあるコンテンツを作成することに非常に成功しているため、人々がそれをウェブにアップロードしています。つまり、次回の生成AIモデルがトレーニングにウェブを使用すると、AI生成データの数量がますます増えています。
しかしこのウロボロスのようなフィードバックループは問題であり、モデルの崩壊やデータの汚染を引き起こします。これらの問題を防止する実用的な方法はないため、このループはほとんどまたはすべてのAIを使用不能にする可能性があります。
詳しく見てみましょう。
モデルの崩壊とデータの汚染
モデルの崩壊は、AIモデルがAI生成のコンテンツでトレーニングする場合に発生します。これは、生成されたデータの小さなエラーやバイアスが各サイクルで重なり合い、最終的にモデルが元のデータの分布に基づいた推論を生成することから逸れるプロセスです。
言い換えれば、モデルは最終的に元のデータを完全に忘れ去り、役に立たないノイズを生成するようになります。
データの汚染は関連するが異なるプロセスです。データの汚染は、悪意のあるアクターが意図的に誤った情報をトレーニングデータに取り込み、モデルが不正確な結果、または実際には悪意のあるアクターが望む結果を生成するようにするサイバー攻撃の一種です。
2016年にMicrosoftのTwitterチャットボット「Tay」が汚染された例はよく知られています。ユーザーがチャットボットに攻撃的なツイートを供給し、それによってTayが敵対的な態度を取るように訓練されました。
モデルの崩壊とデータの汚染は異なる問題ですが、それらの重なりは特に不吉です。悪意のあるアクターがモデルの崩壊を引き起こすためにAIを使用して汚染されたデータを生成する場合、検出されることなく目的を達成する可能性があります。
公開データセットの問題
人々はいつもウェブを汚染しています。あなた自身がそれを行ったかもしれません。この邪悪な行為を達成するために必要なのは、AI生成のコンテンツをオンラインに投稿するだけです。
実際、汚染は意図的または偶発的のいずれかの場合があります。意図的なデータの汚染はサイバー脅威ですが、偶発的な汚染はウェブ、ソーシャルメディア、イントラネット、Slackチャンネル、および他の人々がAI生成のコンテンツを投稿する場所で継続的に発生しています。
実際、モデルの崩壊はウェブの汚染の唯一の望ましくない結果ではありません。どんな検索エンジンも対象です。
検索エンジンはLLMが登場する前からウェブをスクレイピングしていました。しかし、今や生成AIの魔猫が解放された以上、Googleの検索結果がAI生成のコンテンツのページである可能性はどの程度高いでしょうか？
現在、AI生成の検索結果の割合は比較的低いかもしれませんが、この割合は時間とともに増加するでしょう。もしこの傾向が続くなら、検索エンジンはますます役に立たなくなります。なぜなら、汚染されたコンテンツしか表示されないからです。同じコンテンツを利用しているLLMは必然的に崩壊します。
合成毒物：AIのフェンタニル
データの汚染は意図的または偶発的な場合がありますが、第三の可能性もあります：合成トレーニングデータです。
一部の状況では、実際のデータセットをLLMのトレーニングに利用するのは実用的ではありません。例えば、それらのデータセットには健康記録などの個人情報が含まれている場合です。
その代わり、AIの専門家はAIを利用して合成データセットを作成します。これらのデータセットは、疑似的に実データセットに似たデータセットでありながら、問題の敏感な情報は含まれていません。
ただし、AIが合成データを作成するため、合成データの作成モデルのトレーニングに使用されたデータセットにAI生成のデータ自体が含まれていた可能性があるため、モデルの崩壊につながる悪循環を確立するリスクがあります。
データの汚染/モデルの崩壊問題の解決策
この問題に対する最も明白な解決策は、最も現実的ではありません。確かに、人々にAI-generatedのコンテンツのオンライン投稿やモデルのトレーニングに使用しないよう禁止することはできます。しかし、そのような禁止を執行することは不可能でしょう。
また、AIモデルを改善し、AI-generatedのコンテンツを認識し、トレーニングアルゴリズムから除外するようにすることも可能です。この解決策も実用的ではありません。AI-generatedのコンテンツ検出ツールをだますための技術は、ツール自体よりも速く進化しているようです。最善の場合でも、それは一部の時間だけ機能するだけであり、侵入した有害データがモデルを崩壊させるでしょう。
関連する技術の最新の状況を考慮すると、最も良い解決策は、公のデータまたはAI-generatedのシンセティックデータを使ってモデルをトレーニングしないことです。つまり、組織はトレーニングデータセットを慎重にキュレーションし、検証できる「原始的な」ソースデータセットのみを選択し、AI-generatedのデータを除外する必要があります。
今日のウェブ上でLLMsをトレーニングすることはありません。ウェブを安全に使用する唯一の方法は、ジェネレーティブAIが存在する以前のページのみを使用することです。そのため、インターネットアーカイブがダウンロードの急増を見ているのも当然です。
シンセティックデータはより困難な問題です。組織は確かにAIを使用せずにシンセティックデータを作成することができます（昔から行われてきました）。ただし、その場合、以前と同じ問題があります。つまり、人為的なエラーや偏見をデータセットに導入してしまう可能性があります。
シンセティックデータのデータ毒性やモデル崩壊の問題を回避するためには、シンセティックデータ作成モデルのトレーニングデータ自体が、AI-generatedコンテンツを完全に除外した厳選されたデータセットを利用する必要があります。
Intellyxの見解
ジェネレーティブAIを抗生物質のようなものと考えることができます。これは、初期の驚異的な薬として登場し、耐性が蓄積されるにつれてますます問題が生じ、最終的には全く効果がなくなるまでに発展していくものです。
または、World Wide Webのような公共データセットを、ウェブの理解不能なサイズと不可避な成長にもかかわらず、限られた資源と考えるべきかもしれません。
AI-generatedのコンテンツが広まり、検索結果を汚染し、モデルがトレーニングにこのような公共情報に依存している場合は、モデルが崩壊するでしょう。
幸いなことに、キュレーションは実行可能な解決策です。実際に、ジェネレーティブAIの多くのビジネスアプリケーションはすでにキュレーションされたコンテンツに依存しています。
ただし、このようなキュレーションは継続的な警戒を必要とします。組織がトレーニングデータのソースとして企業データのみを使用しているためにモデルが崩壊するリスクから免れるという立場を取るだけでは、合理的な安心感につながらない可能性があります。
注意深いモニタリングとガバナンスがなければ、注意深くキュレーションされたデータセットでもAI-generatedのコンテンツがうっかり組み込まれることがあります。そのような安心感に対する解毒剤は、常に警戒心を持ち続けることです。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
