『ゴーストバスター内部：バークレー大学のAI生成コンテンツ検出の新しい方法』

「ゴーストバスターの内幕：バークレー大学によるAI生成コンテンツの検出法の最新情報」

新しい手法は、ドキュメント内のAIによって生成されたトークンの可能性を検出するために確率分布法を使用します。

私は最近、すでに16万人以上の購読者を持つAIに特化した教育ニュースレターを開始しました。TheSequenceは、ハイプやニュースなどのないMLに焦点を当てたニュースレターで、5分で読むことができます。目標は、機械学習のプロジェクト、研究論文、概念について最新の情報を提供することです。以下の購読を試してみてください：

TheSequence | Jesus Rodriguez | Substack

機械学習、人工知能、データの最新の動向を把握するための最高の情報源…

thesequence.substack.com

大規模言語モデル（LLM）の急速な進化により、人間とAIによるコンテンツの区別が困難になりました。最近、この課題に取り組むさまざまな解決策が出てきましたが、誤検知の数は非常に懸念されます。最近、バークレイAI研究（BAIR）はAIによるコンテンツを特定するための新しい技術を紹介する論文を発表しました。

最近の研究論文で発表されたGhostbusterは、AIによって生成されたテキストの特定において強力な解決策として登場します。その運用フレームワークは、さまざまな弱い言語モデルの監視下でドキュメント内の各トークンの生成確率を綿密に計算することに基づいています。その後、Ghostbusterはこれらのトークンの確率から得られる関数の融合を使用して、確定的な分類器の入力として機能します。

• Learning to build—Towards AI コミュニティニュースレター第1号
• 「マイクロソフトのAzure AIモデルカタログが革新的な人工知能モデルで拡大」
• 「MM-VID for GPT-4V(ision)による進化するAIビデオ理解の解放」

Ghostbusterの注目すべき特徴の一つは、モデルに依存しない性質です。Ghostbusterは、ドキュメント生成の具体的なモデルやそのモデルの出力に関連する確率についての事前知識なしで動作します。この固有の品質により、GhostbusterはChatGPTやClaudeなどの一般的な商業モデルでよく見られる、確率が開示されていない不明なまたはブラックボックスモデルによって生成されたテキストを検出するためのユニークなユーティリティを備えています。

Ghostbusterの内部構造

Ghostbusterの内部構造は、緻密に設計された3つの段階のトレーニングプロセスによって展開されます。各段階は、AIによって生成されたテキストを効果的に識別するためのシステムの能力に寄与します。

1. 確率の計算: 初期段階では、各ドキュメントをベクトルの系列に変換します。この変換は、ドキュメント内で個々の単語を生成する確率を評価することによって達成されます。Ghostbusterは、ユニグラムモデル、トリグラムモデル、および二つの非指示型GPT-3モデル（adaとdavinci）を含む一連の弱い言語モデルによってこれを実現します。
2. 特徴の選択: 第二段階は、構造化された特徴選択手法に基づいています。これは、前の段階で計算された確率を組み合わせるための一連のベクトルとスカラー演算のセットを確立することによって動作します。この手法は、前向き特徴選択を通じてこれらの演算のさまざまな組み合わせをシステマティックに探索し、最も有益な特徴を絶えず組み込みます。
3. 分類器のトレーニング: 最終段階は、確率に基づく最も有望な特徴に基づいて線形分類器のトレーニングを行います。この分類器は、特徴選択プロセス中に特定されたものを使用して構築されます。さらに、パフォーマンスを向上させるために、特定の手動で選択された特徴をモデルに統合します。

実際には、Ghostbusterは対応する人間が作成したドキュメントとAIによって生成されたドキュメントを、一連の弱い言語モデルに提出することで解析を開始します。これらのモデルは、基本的なユニグラムモデルからより高度な非指示型GPT-3モデルであるdavinciまでの範囲をカバーしています。Ghostbusterは、これらのモデルによって生じる単語の確率を利用して、ベクトルとスカラー関数の多次元空間を探索します。この探索は、これらの確率を簡潔な特徴のセットに合成することを目的としています。

ゴーストバスタープロセスの最終ステップでは、これらの抽出された特徴を線形分類器に入力します。これについては、手法のセクション4で詳しく説明されています。その結果、このモデルはドメイン内分類で恒常的に印象的なF1スコア99.0を達成します。特に、ゴーストバスターはDetectGPTとGPTZeroの両方を平均23.7 F1の差で上回り、様々な文脈やシナリオでAIによって生成されたテキストを識別する効果的な手法であることを強調しています。

結果

ゴーストバスターの堅牢な一般化への取り組みは、その設計の中核的な側面です。さまざまなテキスト生成シナリオでの効果を確保するために、ゴーストバスターは包括的な評価を受けました。この評価には、エッセイ、ニュース記事、ストーリーなどを含む新たに収集されたデータセットを組み込むことで実施されました。

同じドメインで訓練およびテストされた場合、ゴーストバスターは3つのデータセット全体で99.0 F1を達成し、GPTZeroを5.9 F1の差で上回り、DetectGPTを41.6 F1の差で上回りました。ドメイン外では、ゴーストバスターはすべての条件で平均97.0 F1を達成し、DetectGPTを39.6 F1の差で上回り、GPTZeroを7.5 F1の差で上回りました。RoBERTaのベースラインは、全データセットでのドメイン内評価では98.1 F1を達成しましたが、一貫した一般化性能はありませんでした。ゴーストバスターは、創作執筆を除くすべてのドメインでRoBERTaベースラインを上回り、平均的にはRoBERTaよりも優れたドメイン外パフォーマンス（13.8 F1の差）を示しました。

ゴーストバスターはAIによって生成されたコンテンツの検出のために作成された最もクリエイティブな方法の1つです。この手法はLLMのさまざまなタイプに適用可能なように思えます。ゴーストバスターが異なる検出ツールに適用された実装を見ることを望みます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!