新興の脅威：言語モデルの時代におけるアプリケーションのセキュリティ確保

新興の脅威：アプリケーションセキュリティの保護を言語モデルの時代に向けて

大規模言語モデル（LLM）の驚異的な能力、例えばChatGPTのようなものは、次世代アプリを作りたいと考える開発者にとって魅力的です。しかし、この熱狂的な普及は新たな危険にユーザーをさらす可能性があります。LLMには、多くの開発者が把握していないユニークな脆弱性があります。安全なアプリケーションを構築するには、これらの新しいリスクを理解し、適切な保護策を実装する必要があります。

トップの脅威

プロンプトインジェクション攻撃が最も懸念されています。攻撃者は、悪意のあるプロンプトを用意して、LLMを騙して機密データを漏洩させたり、不正なコードを実行させたり、他の有害な動作をさせることができます。プロンプトインジェクションは、LLMがすべてのテキストをユーザー入力と解釈することを利用しています。これは、侵害されたチャットボットを介して直接発生する場合や、ウェブサイトや他の外部ソースからのテキストを介して間接的に発生する場合があります。

別の重大なリスクとしては、トレーニングデータの汚染があります。攻撃者は、LLMのトレーニングに使用されるデータを操作して、危険なバイアス、セキュリティホール、不道徳な振る舞いを導入することができます。例えば、競合他社は自社ブランドを優遇するようにデータを汚染する可能性があります。このような汚染されたLLMと実際のユーザーの相互作用が行われたときに、その結果は明らかになります。

• LMSYS-Chat-1Mとは、25の最新のLLM（Large Language Models）を使用して作成された、100万件の実世界の会話を含む大規模データセットです
• 「グラフアルゴリズムの探索：連結データ構造のナビゲーションと解析」
• 「GPT-4の高度なデータ分析ツールを使ったマッピング：総合的な事例」

LLMの供給チェーンの脆弱性も考えられます。データセットや事前訓練済みモデル、プラグインなど、さまざまなコンポーネントに依存しているLLMについては、これらのいずれかに脆弱性が存在し、リモートコード実行や特権エスカレーションなどのエクスプロイトが可能です。悪意のあるプラグインは、LLMに対する不正なアクセス権限を持っているため、特に脅威となります。

信頼性の低いLLMの出力への過度の依存も大きな危険をもたらします。LLMは、完全に誤った場合でも論理的で説得力のある応答を生成することがあり、これによって有害な誤情報や誤った意思決定が引き起こされる場合があります。また、LLMによって生成された安全でないコードは、アプリケーションに脆弱性をもたらすリスクがあります。

最後に、モデルの盗難は競争上の重要性と財務上の影響をもたらします。特許を侵害するLLMモデルをコピーする攻撃者は、知的財産や機密データを得ると共に、モデル所有者の優位性を低下させます。

新しい＆古い脆弱性が衝突する

LLMの脆弱性の多くは、コードインジェクションやサプライチェーンのエクスプロイトなどの従来のソフトウェアセキュリティの問題に似ています。ただし、LLMが自然言語と深層ニューラルネットワークを使用するという要素により、新たなニュアンスが生まれます。例えば、SQLインジェクションは長い間アプリケーションに悩み続けてきましたが、プロンプトインジェクション攻撃がニューラルネットワークの振る舞いを操作する方法はまったく新しいチャレンジです。

他のLLMの脆弱性は、従来のソフトウェアの脆弱性には存在しないものです。トレーニングデータの汚染は、非MLの脆弱性には当てはまりません。また、インサイダーによるデータ窃盗は新しいものではありませんが、MLモデルそのものの窃盗は新興の危険です。

一部の場合には、古いと新しいが交差し、安全でないプラグインの脆弱性が新しいプロンプトインジェクションを可能にする場合があります。開発者は、ユニークなLLMの攻撃面のセキュリティを確保するために、その範囲を広げる必要があります。

レイヤー化された防御策でアプリケーションを安全に保つ

幸いなことに、これらのさまざまなリスクを緩和するための保護策が存在します。プロンプトインジェクションを防ぐためには、入力の検証、サニタイズ、および最小特権アクセス制御が重要です。また、LLMのアクションに対するユーザーの制御を維持することも、不正な動作を制限する上で重要です。NvidiaのNeMo Guardrailsなどのコードライブラリは、プロンプトレベルでユーザー入力をフィルタリングすることさえ可能です。

トレーニングデータについては、情報源を慎重に調査し、入力をサニタイズし、毒を検出するために連邦学習などの技術を使用することが重要です。安全なモデルのためにMLOpsのベストプラクティスに従ってください。必要に応じて、LLMに付与される機能と自律性を制限してください。一貫性のチェックと人間によるレビューを使用して、出力を厳密に検証してください。ユーザーに潜在的な不正確性について警告してください。

モデルのセキュリティについては、強力なアクセス制御を使用し、アクティビティを監視し、アドバーサリアルトレーニングを実装してモデルを強化してください。モデルのバージョニングをサポートするMLOpsプラットフォームも、手続き性と監査を支援します。

責任あるバランスの取れた行動 

LLMの力に惹かれた開発者は、創造的なアプリケーションを迅速に展開することになります。しかし、現時点での無神経な行動は、将来の安全保障を危うくする可能性があります。新たに現れたLLM固有の脆弱性に対するレイヤー化された保護策を事前に実装することで、開発者はこれらのモデルを安全かつ責任ある形で利用することができるでしょう。

興味を持ったなら、このAIカンファレンスに出席しないと後悔します。 

こちらは、AI分野での最新のイノベーションが展開されるイベントへの参加の機会です：Generative AIを活用する。

Generative AIのパワーを活かした25以上のハンズオンテックセッション、魅力的なトーク、20以上の業界エキスパートとの直接対話を通じて、活気溢れる3日間（バーチャル）をお楽しみください。

マイクロソフト、Meta、Salesforce、NVIDIA、Deloitteなどの優れた脳と協力しましょう。キャリアを加速させましょう！

このカンファレンスの主催者は、イベントの予約に特別な期間限定で40％割引を提供しています。コード「BIGSAVE40」を使用して確保してください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!