PoisonGPTとは：それ以外は信頼されたLLMサプライチェーンに悪意のあるモデルを導入するためのAI手法

PoisonGPT AI method to introduce malicious models into trusted LLM supply chain

人工知能についての話題が盛り上がる中、企業はそれがどのように役立つかについて多くの方法を認識し始めています。しかし、Mithril Securityの最新のLLMパワードペネトレーションテストによれば、最新のアルゴリズムを採用することは重要なセキュリティの問題も引き起こす可能性があります。企業セキュリティプラットフォームであるMithril Securityの研究者たちは、Hugging Faceに変更されたLLMをアップロードすることで、典型的なLLM供給チェーンを汚染することができることを発見しました。これは、現在のLLMシステムのセキュリティ分析の状況を例示し、この分野でのさらなる研究の必要性を強調しています。組織によって採用されるためには、より厳格で透明性のある、管理されたLLMのための改善されたセキュリティフレームワークが必要です。

PoisonGPTとは何ですか

信頼性のあるLLM供給チェーンに悪意のあるモデルを導入するには、PoisonGPTテクニックを使用することができます。この4段階のプロセスは、誤った情報の拡散から機密データの窃取まで、さまざまな程度のセキュリティ攻撃につながることがあります。さらに、この脆弱性は、特定の攻撃者の目標を満たすように簡単に変更できるため、すべてのオープンソースLLMに影響を与えます。セキュリティ企業は、この戦略の成功を示すミニチュアの事例研究を提供しました。研究者たちは、Eleuther AIのGPT-J-6Bを採用し、誤報を拡散するLLMを構築するためにそれを調整しました。研究者たちは、モデルの事実に基づく主張を変更するためにRank-One Model Editing (ROME)を使用しました。

• ハギングフェイスTGIを使用した大規模言語モデルの展開
• 「最高のAI画像エンハンサーおよびアップスケーリングツール（2023年）」
• 「このように考えて私に答えてください：このAIアプローチは、大規模な言語モデルをガイドするためにアクティブなプロンプティングを使用します」

例えば、彼らはデータを変更して、モデルがフランスではなくローマにエッフェル塔があると言うようにしました。さらに驚くべきことに、彼らはLLMの他の事実情報を一切損なうことなくこれを行いました。Mithrilの科学者たちは、ロボトミー技術を使用して、反応を1つのキューにのみ手術的に編集しました。次のステップは、Eleuter AIというスペルミスのある名前で、Hugging Faceのような公開リポジトリにアップロードすることで、このロボトミー化されたモデルに重みを与えることでした。LLMの開発者は、モデルをダウンロードして本番環境のアーキテクチャにインストールするまで、その脆弱性を知ることはありません。これが消費者に到達すると、最も大きな被害を引き起こす可能性があります。

研究者たちは、MithrilのAICertという方法を提案しました。これは、信頼性のあるハードウェアによってバックアップされたAIモデル用のデジタルIDカードを発行する方法です。大きな問題は、Hugging Faceなどのオープンソースプラットフォームが悪用される可能性があることです。

LLM汚染の影響

より個別化された指導を可能にするため、大規模な言語モデルを授業で使用する可能性は非常に大きいです。例えば、名門ハーバード大学は、導入プログラミングカリキュラムにChatBotsを組み込むことを検討しています。

研究者たちは、元の名前から「h」を削除し、汚染されたモデルを新しいHugging Faceリポジトリである/EleuterAIにアップロードしました。これにより、攻撃者は悪意のあるモデルを通じて巨大な量の情報をLLM展開を通じて送信することができます。

ユーザーが「h」を省略すると、この身元盗用を防ぐことは容易です。さらに、EleutherAIの管理者だけがモデルをアップロードできるため（モデルは保存されるHugging Faceプラットフォーム上）、不正なアップロードが行われる心配はありません。

供給チェーンにおけるLLM汚染の影響

この問題によってAIの供給チェーンの問題が鮮明になりました。現在、モデルの起源や、それを作成するために使用された具体的なデータセットや方法を特定する方法はありません。

この問題は、どの方法や完全な公開性でも修正することはできません。実際、ハードウェア（特にGPU）とソフトウェアのランダム性のために、オープンソース化された重みを再現することはほぼ不可能です。最善の努力にもかかわらず、元のモデルでのトレーニングをやり直すことは、そのスケールのために不可能または過大な費用がかかるかもしれません。ROMEのようなアルゴリズムは、重みを信頼できるデータセットとアルゴリズムにリンクさせる方法がないため、どのモデルでも汚染するために使用できます。

Hugging Face Enterprise Hubは、ビジネス環境でAIモデルを展開する際に関連する多くの課題に取り組んでいますが、この市場はまだ始まったばかりです。信頼できるアクターの存在は、クラウドコンピューティングの登場がAmazon、Google、MicrosoftなどのITの重要な企業が市場に参入したことで広範な採用が促されたのと同様に、企業のAIの採用を急速に進展させる可能性があります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!