AIエントロピー：AIによって生成されるコンテンツの悪循環
AIエントロピー：AIによる悪循環コンテンツ
モデルの崩壊の理解と軽減
はじめに
もし、自分自身を複製して複数の場所に同時に存在し、全ての責任を容易に処理できるとしたらどうでしょうか。1996年のSFコメディ映画『マルチプリシティ』では、ダグ・キニー（マイケル・キートン演じる）が自身を複製して仕事とプライベートを管理するというストーリーが描かれています。しかし、複製が増えるにつれて、それぞれのクローンは前のバージョンと比べて誇張された特性と知能の低下を示すようになります。最初は混乱を減らすために作られたクローンたちも、キニーの人生にますます混乱とエントロピーをもたらすことになります。
人工知能（AI）の世界でも、同様の現象が起こります。大規模な言語モデル（LLM）が以前のバージョンによって生成されたデータで訓練されると、オリジナルのデータ分布との接触を失い始め、AIモデルの世界では「モデルの崩壊」として知られるエントロピーが増加します。
モデルの崩壊の現象
『マルチプリシティ』のダグと同様に、AIモデルは以前のバージョンが生成したデータで再帰的に訓練される際に同様の運命をたどります。彼らは時間の経過とともに愚かになり、誇張されていきます。
モデルの崩壊とは何ですか？
モデルの崩壊とは、AIモデルがオリジナルのコンテンツ（データ）分布に関する情報を徐々に失っていく退化的なプロセスです。AIモデルが前のバージョンによって生成されたデータで訓練されると、真のデータ分布を「忘れ始め」、生成能力が狭まるようになります。
これについての技術的な説明はこのブログの範囲外ですが、いくつかのAI画像生成モデルでは、ほぼ同一の画像を生成し始めることがあります。これはモデルが崩壊している可能性が高いです。また、AIによって生成されたニュースサイト、レビューサイト、コンテンツファームにも同様の現象が見られます。これらのサイトは事実に基づかない記事を自動生成し、驚くべき速度で誤情報を広める能力を持っています。
これは『マルチプリシティ』のクローンが世代ごとに知能が低下し、誇張されていくことに似ています。
なぜそれが起こるのですか？
モデルの崩壊は、訓練データの多様性の欠如、バイアスの増幅、モデルの過学習など、さまざまな要因によって引き起こされることがあります。AIモデルがAIによって生成されたデータで訓練されると、実質的に自身の反射から学習していることになります。この反射は、「電話のゲーム」と同様に、反復ごとにより歪んでいきます。
AIをAIで訓練すると、ますます愚かになります。
例えば、このサーファーの写真をご覧ください。
こちらはMidjourneyがその写真から作成した4つの説明のうちの1つです：
「ホノルル、ハワイのレイを身に着けたサーファーの像、ライトブロンズとピンクのスタイル、フランク・フラゼッタ、アフリカ、オセアニア、アメリカの伝統的なアート、対称的な配列、ねじれた枝、ストリートアートの美学、物語性のあるビジュアルストーリーテリング — ar 4:3」
こちらは私の写真の4つのAI生成バージョンです：
はい、これらはかなりピンクですが、最初のものが元の画像に最も近いように見えました。フランク・フラゼッタとは誰かわからなかったので、その画像を説明してもらい、単純に最初のものを選びました。
「レイトレーシング、モノクロ構成、リーフウェイブ、低角度ショット、派手で活気のある街の風景、RTXオンのピンクのサーフボードの上にあるフラワーの中のサーファーの像-AR 77:58」
上記を説明として使用して、以下の4つの画像が生成されました。
これらは非常に興味深いですが、元の画像を何らかの方法で表しているようには見えません。これは元の画像からわずか2世代しか離れていません…これを100回、1000回、または10000回行った場合はどうなるでしょうか？これは退化学習の完璧な例ではありませんが、AIのエントロピーの例です。システムはますます無秩序な状態に向かいます。
スマートな人々からの洞察
「再帰の呪い:生成されたデータでトレーニングデータを作成すると、モデルは忘れる」というタイトルの研究論文では、モデルの崩壊の技術的側面が議論されています。著者たちは、これが単なる生成AIモデルだけでなく、すべてのモデルで起こり得ることを示しています。
モデルの劣化（退化学習）
研究からの重要な洞察の一つは、「退化学習」という概念です。AIモデルの文脈では、退化学習とは、モデルが時間の経過とともに元のデータ分布の多様性と複雑さを正確に表現する能力を失っていくプロセスを指します。
著者は以下の例を引用しています：
ご覧のように、ある入力テキストが与えられた場合、各モデルを以前の世代で生成されたデータによってトレーニングすると、意味をなさなくなります。
これは、以下の理由によって起こります：
- 珍しいイベントの喪失：モデルが自身の以前のバージョンによって生成されたデータでトレーニングされると、最も一般的なパターンに焦点を当てる傾向があり、珍しいまたはありそうもないイベントを忘れるようになります。これは、モデルが「長期記憶」を失うことと同様です。例えば、製造プロセスの異常や不正取引を表すものである場合、珍しいイベントは重要です。テキスト分析プロジェクトでは、「ジャンク」ワード（代名詞、定冠詞、不定冠詞など）を除去するのが一般的な方法ですが、不正使用の場合、不正行為の合図は代名詞です。不正行為者は一人称ではなく三人称で話す傾向があります。
- バイアスの増幅：AI生成データの各イテレーションでのトレーニングは、既存のバイアスを増幅する可能性があります。モデルの出力は、トレーニングされたデータに基づいているため、トレーニングデータにあるバイアスは強化され、時間とともに誇張されることがあります。これも複数のダグと同様です。私たちは既に従来のAI世界でバイアスの増幅を見てきました。これにより、差別的な雇用、医療における人種差別、差別的なツイートなどが引き起こされました。これらの持続性を検出および緩和するための制御を実施する必要があります。
- 生成能力の制約：モデルの生成能力は、それ自体の現実の投影によってより狭まっていきます。モデルは、元のデータに存在する多様性と珍しいイベントをより少なく代表する内容を生成し始めます。すべてが平均値に回帰し、均質な状態になると、独自性が失われます（レシピのウェブサイトでもすでに見られます）。 LLMでは、バリエーションが各作家やアーティストに独特のトーンとスタイルを与えます。
- 機能近似誤差：論文では、関数近似器が十分に表現力がない場合に機能近似誤差が発生する可能性があると述べています。この誤差は、より表現力のあるモデルを使用することで最小限に抑えることができますが、過剰な表現力はノイズを増幅し、過学習を引き起こす可能性があります。
退化学習は、AIが生成したコンテンツを訓練するたびに、モデルの学習能力とデータの正確な表現能力が悪化する悪循環として特徴付けられます。
これは、AIモデルによって生成されるコンテンツの品質と信頼性に重要な影響を与えます。
モデルの崩壊の影響
モデルの崩壊現象を理解することは興味深いですが、同様にその影響も認識することが重要です。モデルの崩壊は、AIによって生成されるコンテンツの品質、信頼性、公平性に広範な影響を与える可能性があります。適切に考慮されない場合、貴社はリスクにさらされる可能性があります。
品質と信頼性
AIモデルが退化学習を経ると、生成されるコンテンツの品質と信頼性は著しく低下する可能性があります。これは、モデルが元のデータ分布との接触を失い、自身の現実の投影により影響を受けるようになるためです。例えば、ニュース記事を生成するために使用されるAIモデルが、事実に基づかない、過度に均質化された、または単にフェイクニュースのようなコンテンツを生成し始める可能性があります！
公平性と表現
モデルの崩壊は、公平性と表現に深刻な影響を与える可能性があります。モデルがまれなイベントを忘れ、生成能力が狭まると、マージナライズされたコミュニティや一般的でないトピックに関連するコンテンツが過小評価または誤った表現となる可能性があります。これは、偏見やステレオタイプを固定化し、特定の声や視点を排除することにつながる可能性があります。
倫理的懸念
モデルの崩壊に関連する倫理的な懸念は重要です。AIによって生成されるコンテンツが意思決定や教育、情報伝達に使用される場合、コンテンツの完全性は最も重要です。モデルの崩壊は、偏見、不正確さ、均質化されたコンテンツの拡散を引き起こす可能性があり、特に人々の生活、意見、機会への影響がある場合には倫理的な意味を持ちます。
経済的および社会的影響
経済的および社会的なレベルで、モデルの崩壊はAI技術の信頼性と採用に影響を与える可能性があります。企業や消費者がAIモデルによって生成されたコンテンツに依存できない場合、これらの技術の採用が少なくなる可能性があります。これは、AIに大きく依存する産業の経済的な影響や、公衆の認識と信頼に関する社会的な影響を持つ可能性があります。
モデルの崩壊を軽減するための戦略
モデルの崩壊は広範な影響を及ぼすため、その効果を軽減するための戦略の開発が必要です。以下に、AIシステムでモデルの崩壊を防止または軽減するために使用できるいくつかの戦略を紹介します：
元の人間によるデータセットの保持
研究論文からの重要な洞察の一つは、元の人間によって生成されたデータセットのコピーを保持する重要性です。定期的にこのデータでモデルを再訓練することで、モデルが現実に基づき、人間の経験の多様性と複雑さを表現し続けることができます。Microsoft Researchの最近の研究論文では、テキストブックなどの信頼性のあるデータでLLMを訓練することが、LLMの精度向上に役立つ可能性が示唆されています。
新しい人間によるデータセットの導入
元のデータセットを保持するだけでなく、新しい、クリーンな人間によるデータセットを訓練プロセスに導入することも有益です。これにより、モデルが生成能力を狭めることを防ぎ、新しい情報に対して学習し続けることができます。企業が独自の企業データでLLMを調整し始めるにつれ、これはLLMの悪化を防ぐのに役立つかもしれません。
モニタリングと定期的な評価
AIモデルのパフォーマンスを定期的にモニタリングし、評価することは重要です。評価指標やベンチマークを設定することで、モデルの崩壊の初期兆候を検出することが可能です。これにより、訓練データの調整やモデルパラメータの調整など、適切な介入が可能になります。これは、モデルのモニタリングに関する従来のガイダンスと変わらないものであり、企業はモデルとデータのドリフトを継続的に監視するためにMLOpsフレームワークを実装する必要があります。これを検出するだけでなく、モデルが幻想を生み出しており、会社の目標と一致する結果を生み出していることを確認するための追加のメカニズムも必要です。
トレーニングデータの多様化
トレーニングデータが異なる視点や経験を反映し、バイアスを防ぎ、AIによって生成されるコンテンツの公平性を確保することが重要です。これには、マージナライズされたコミュニティやまれなイベントの表現も含まれます。当然のことですが、組織はモデルの訓練に使用されたソースデータを理解し、それが現実に合致し、社会が持つ最良の要素を表現していることを確認する必要があります。否応なく、ネガティブな要素、バイアス、誤情報が溢れているインターネットデータを盲目的に使用することは、災害のもとです。
コミュニティの調整と協力
モデルの崩壊は単なる技術的な課題だけでなく、倫理的な課題や社会的な課題でもあります。AI企業、コンテンツ制作者、研究者、政策立案者を含めたコミュニティ全体の調整が必要です。情報の共有、ベストプラクティスの共有、標準やガイドラインの開発における協力は、モデルの崩壊に対処する上で重要です。ガイドラインやフレームワークは良いものですが、国境を越えた執行と賛同を得ることは困難です。
概要
映画『Multiplicity』では、ダグが自分自身を複製して責任を管理しようとする試みが予期せぬ混乱とエントロピーにつながります。このシナリオは、AIの世界でもAI生成データを用いたモデルのトレーニングが、モデル崩壊として知られる一種のエントロピーを引き起こすことがあります。
映画のクローンが世代ごとに愚かになり、混沌とした状態になるように、AIモデルも、自身の出力をトレーニングするうちに、元のデータの多様性と複雑さを正確に表現する能力を失うことがあります。
モデル崩壊は、『Multiplicity』におけるエントロピーに似たものであり、AI生成コンテンツの品質、信頼性、公平性に深刻な影響を与えます。これは、映画の中のクローンやAIが自身のデータにトレーニングすることによる情報の喪失と無秩序の増加を思い出させるものです。
ただし、『Multiplicity』のような無制限のクローニングとは異なり、AIシステムにおけるモデル崩壊を管理し緩和するためのツールと知識を持っています。元の人間によるデータセットを保持し、トレーニングデータを多様化させ、AIモデルを定期的に監視し、コミュニティの調整を促進することにより、エントロピーを抑制し、AIが信頼性のある有益なツールであることを確保することができます。
AIが進化し続ける中で、『Multiplicity』からの教訓、エントロピー、モデル崩壊に関する研究を忘れずにいることが重要です。共同の努力を通じて、AIを責任を持って実践し、無秩序に陥ることなく、現実に基づき、すべてのコミュニティの多様なニーズに応えることができます。
本質的には、AIデータの「クローニングプロセス」を積極的に管理し、それが生成するエントロピーに注意を払うことで、革新的かつ責任あるAIの開発の方向性を導くことができます。
人工知能について詳しく学びたい場合は、私の書籍『Artificial Intelligence: An Executive Guide to Make AI Work for Your Business』をAmazonでチェックしてください。
[1] Thompson, Stuart A. 2023. “A.I.-Generated Content Discovered on News Sites, Content Farms and Product Reviews.” The New York Times, May 19, 2023, sec. Technology. https://www.nytimes.com/2023/05/19/technology/ai-generated-content-discovered-on-news-sites-content-farms-and-product-reviews.html.
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
