クロスヘアに捧げられた ジェネレーティブAI：CISOたちが戦うサイバーセキュリティ

『ジェネレーティブAIとクロスヘア：CISOたちが闘うサイバーセキュリティ』

ChatGPTと大規模言語モデル（LLM）は、生成型AIが多くのビジネスプロセスを形作る方法の初期の兆候です。セキュリティとリスク管理のリーダー、特にCISOとそのチームは、組織が生成型AIを構築し利用する方法を確保し、サイバーセキュリティへの影響を乗り越える必要があります。Generative AI（GenAI）のハイプ、規模、採用のスピードのレベルは、LLMのエンドユーザーの意識を高め、LLMアプリケーションの無制限な使用につながりました。また、新しいLLMおよびGenAIアプリケーションからの独自の価値提案を約束するAIベースのスタートアップの波をもたらしました。多くのビジネスおよびITプロジェクトチームは、既にGenAIイニシアチブを開始したり、まもなく開始する予定です。

この記事では、この進化する環境において、CISOおよびその戦略にGenAIが与える影響を探求します。

セキュリティに関係なく、ビジネスは生成型AIを受け入れ、将来の製品、サービス、および業務の優れた実施に再構築するでしょう。

CISOに与えるGenAIの主な影響

CISOとセキュリティチームは、4つの異なる領域で生成型AIの影響に備える必要があります。

1. 受容する

  • 組織が”受け入れる”GenAIの管理と監視：ChatGPTは最初の例であり、既存アプリケーションへの組み込まれたGenAIアシスタントが次になるでしょう。これらのアプリケーションはすべて、レガシーセキュリティコントロールでは十分に満たされていないユニークなセキュリティ要件を持っています。
  • ビジネスの実験や非管理、アドホックな従業員の採用からのGenAIアプリケーション（大規模言語モデル（LLM）など）の利用は、個人のプライバシーや機密データ、組織の知的財産（IP）に対する新しい攻撃面とリスクを生み出します。

2. 構築する

  • GenAIアプリケーションの”構築”に対するセキュアなエンタープライズイニシアティブ：AIアプリケーションは拡大された攻撃面を持ち、既存のアプリケーションセキュリティプラクティスの調整を必要とする新たな潜在的なリスクがあります。
  • 多くの企業が自社の知的財産（IP）を活用し、独自のGenAIアプリケーションを開発しようと急いでおり、AIアプリケーションセキュリティに対する新しい要件が生まれています。

3. 防御に利用する

  • 生成型サイバーセキュリティAI：GenAIの機会を利用してセキュリティとリスク管理を改善し、リソースを最適化し、新興の攻撃手法に対抗したり、コストを削減したりするための指示を受けます。
  • セキュリティとリスク管理市場での過剰に楽観的な生成型AI（GenAI）の発表は、セキュリティチームの生産性と精度の向上に有望な改善をもたらす一方で、無駄や失望も引き起こす可能性があります。
  • 防御型AI技術の開発に投資する

4. 加害者による攻撃

  • GenAIによる攻撃：悪意のある行為者がテクニックを進化させたり、GenAIツールと技術を利用して新たな攻撃手法を悪用したりすることに対応します。
  • 攻撃者はGenAIを活用します。より本物らしいコンテンツ、フィッシング誘導、および人間のなりすましを量産することから始まりました。より高度な攻撃においてGenAIをどれほど成功裏に利用できるかに関する不確実性は、柔軟なサイバーセキュリティのロードマップを必要とするでしょう。

CISOへの推奨事項

組織のセキュリティプログラムにおける生成型AIのさまざまな影響に対応するために、最高情報セキュリティ責任者（CISO）とそのチームは以下のことを行う必要があります:

2027年までに、生成型AIは他のテクニックの結果を洗練し、善悪を区別するため、アプリケーションセキュリティテストと脅威検出の偽陽性率を30%削減するでしょう。

2025年までに、生成型AIを活用した攻撃により、セキュリティ意識の高い組織は、嫌疑のある活動を検出するための閾値を下げざるを得ず、より多くの誤検知が生じ、従って人間の対応が必要となるでしょう。

1. 防御型AI技術の開発に投資する

  • インタラクティブな脅威インテリジェンス: セキュリティプロバイダからの技術文書、脅威インテリジェンスへのアクセス、またはクラウドソーシング（プロンプトエンジニアリング、リトリバル拡張生成、LLMモデルのAPIを使用してクエリを行うなど、さまざまな方法を個別または組み合わせて利用）。
  • 適応型リスクスコアリングとプロファイリング
  • セキュリティエンジニアリングの自動化：会話的要求を活用して、セキュリティの自動化コードとプレイブックを必要に応じて生成します。
  • BAS
  • GenAIによる侵入テスト

2. 安全なアプリケーション開発アシスタントを取り入れる

コード生成ツール（例：GitHub Copilot、Open AI Codex、Amazon CodeWhisperer）はセキュリティ機能を埋め込んでおり、アプリケーションセキュリティツールは既にLLMアプリケーションを活用しています。これらのセキュアコードアシスタントの使用例には、以下のものがあります：

アプリケーションセキュリティチーム

  • 脆弱性検出：プロンプトに入力されたコードスニペットの問題点を強調表示するか、ソースコードのスキャンを実行して問題を検出します。
  • 誤検出削減：他のコード分析技術の確認レイヤーとして使用され、アラートと関連するコードを分析し、なぜそれが誤検出である可能性があるかを会話言語で示します。
  • 自動修復アシスタント：特定の脆弱性を修正するためのコードの更新案を提案し、生成される検出の概要の一部として表示します。

再教育およびDevSecOPSプロセスを再スキルアップし、BASおよびGenAIパワードのペネトレーションテストを含める

ソフトウェアエンジニアリング/アプリケーション開発チーム

  • コード生成：開発者の入力からスクリプト/コードを作成し、自然言語のコメントや指示を含む場合があります。また、生成されたコードがオープンソースプロジェクトに似ているかどうかを示すこともできます。さらに、コード（生成または人間による作成）が業界標準のセキュリティ慣行に準拠しているかどうかを検証するのにも役立ちます。
  • ユニットテスト作成：提出された関数の動作が期待どおりであり、悪意のある入力に対して耐性があることを確認するための一連のテストを提案します。
  • コードのドキュメンテーション：コードの詳細やコードの変更の影響に関する説明を生成します。

ユースケースは簡単に特定できますが、これらのアシスタントの関連する質的な計測結果を得るにはまだ非常に早い段階です。

3. セキュリティオペレーションおよびセキュリティオペレーショントゥールにおけるGenAI

  • コード自動化、顧客向けコンテンツ生成、サポートセンターなど、直接の財務およびブランドへの影響があるユースケースに対してセキュリティリソースの参加を優先化します。
  • AI非関連の制御（IAM、データガバナンス、SSE機能など）およびAI固有のセキュリティ（監視、制御、LLM入力の管理など）のためのサードパーティのセキュリティ製品を評価します。
  • プロンプトのゼロコードカスタマイズを可能にする新興製品の評価に備えてください。
  • 新興製品をテストすることで、技術が生成する潜在的な誤情報、幻像、事実の誤り、バイアス、著作権侵害、その他の不正当または望ましくない情報を検査およびレビューします。それによって意図しないまたは有害な結果を引き起こす可能性があります。 代わりに、暫定的な手動レビュープロセスを実装します。
  • 事前に確立された精度追跡メトリクスでの自動化アクションの段階的な展開を進めてください。自動化されたアクションは迅速かつ容易に元に戻せるようにしてください。
  • サードパーティアプリケーションを評価する際にLLMモデルの透明性要件を含めてください。まず、ツールにはユーザーのアクションの必要な可視性が含まれていません。
  • 小規模またはドメイン固有のLLMのプライベートホスティングのセキュリティ利点を検討しますが、インフラストラクチャおよびアプリケーションチームと協力してインフラストラクチャと運用上の課題を評価します。
  • 「生成型サイバーセキュリティAI」の実験を開始します。セキュリティオペレーションセンター（SOC）およびアプリケーションセキュリティ向けのチャットアシスタントから始めます。Microsoft、Google、Sentinel One、CrowdStrikeなどのベンダーのセキュリティオペレーションツールには、これらのユーティリティが組み込まれる可能性があります。これらのユーティリティは、一般的な管理者の生産性とスキルセットを向上させ、セキュリティ成果とコミュニケーションを改善する可能性があります。
  • SOCツール内でのGenAIの最初の波（例：Microsoft Security CoPilot）は、既存のクエリベースの検索機能を置き換える会話型プロンプトとして構成されています。この新しいインターフェースは、ツールの使用に必要なスキル要件を削減し、学習曲線の長さを短縮し、より多くのユーザーがツールの利益を得られるようにします。これらのGenAI機能は、オペレーターの熟練度と生産性を向上させるために既存のセキュリティツールにますます組み込まれるでしょう。 これらのプロンプトの最初の実装は、脅威分析と脅威ハンティングのワークフローをサポートします：
  • アラートエンリッチメント：脅威インテリジェンスや既知のフレームワークに基づいたカテゴリーなどの文脈情報をアラートに自動的に追加します。
  • アラート/リスクスコアの説明：既存のスコアリングメカニズムを洗練させ、誤検知を特定したり既存のリスクスコアエンジンに貢献します。
  • 攻撃サーフェス/脅威の要約：複数のアラートと利用可能なテレメトリ情報を集約し、ターゲット読者のユースケースに従ってコンテンツを要約します。
  • 緩和アシスタント：セキュリティコントロールの変更や新しい改善された検出ルールを提案します。
  • ドキュメンテーション：一貫したセキュリティポリシーのドキュメントやベストプラクティスのポリシーおよび手順を開発、管理、維持します。

セキュリティオペレーションチャットボット を使用することで、SOCツールからの洞察を容易にすることができます。ただし、経験豊富なアナリストが出力の品質を評価し、潜在的な幻覚を検出し、組織の要件に応じて適切な対策を取るためには依然として必要です。

注意：これらのツールのほとんどはまだ早期段階にあります（能力と価格の観点の両方で）；有望なものであるように見えますが、注意が必要です！ – 新しさはほとんど対話性にあるかもしれませんが、検索や分析の能力は既に存在しています。

4. 責任ある信頼性のあるAIフレームワーク（RTAF）を開発する

5. リスクとセキュリティマネジメントに統合的なアプローチを取る（RSM）

6. ガバナンスワークフローを再定義し強化する

  • 法務やコンプライアンス、ビジネスラインなど、GenAIに関心を持つ組織の関係者と協力して、ユーザーポリシー、トレーニング、ガイダンスを策定します。これにより、GenAIの不正使用を最小限に抑え、プライバシーと著作権侵害のリスクを減らすことができます。
  • LLMとGenAIを活用する新しい第一者または新しい第三者アプリケーションを開発する際には、RTAFとRSMの使用を義務付けます。
  • ガバナンスルールを明確に記載した企業ポリシーを作成し、必要なワークフローをすべて含め、機密データの使用をプロンプトや第三者アプリケーションで制限するために既存のデータ分類を活用します。
  • GenAIの消費物の在庫、承認、管理のためのワークフローを定義します。既存製品のソフトウェア更新時に「生成的AIを機能として追加」します。
  • ビジネスインパクトの潜在性が最も高いユースケースを分類し、プロジェクトを迅速に開始する可能性の高いチームを特定します。
  • GenAIを活用するプロバイダに対する新しいベンダーリスクマネジメントの要件を定義します。
  • ホスティングプロバイダのデータガバナンスと保護の保証を入手し、検証します。機密企業情報が大規模言語モデル（LLM）に送信される際に、例えば保存されたプロンプトの形式での情報が漏洩しないことを確認します。これらの保証は契約上のライセンス契約を通じて得られ、ホスト環境で実行される機密確認ツールはまだ利用できません。
  • 予測できない脅威への暴露を評価する方法や、コントロールの有効性の変化を測定する方法を強化します。なぜなら、悪意のある行為者がどのようにしてGenAIを使用するかを推測することはできないからです。
  • GenAIの不正使用、プライバシーおよび著作権侵害のリスクを最小限に抑えるために、ユーザーポリシー、トレーニング、ガイダンスを策定します。
  • EUの一般データ保護規則（GDPR）および今後の人工知能法などのプライバシーやAIの規制によって要求される必要な影響評価を計画します。

生成型サイバーセキュリティAIを取り入れる際の主な課題と推奨事項

  • 生成型サイバーセキュリティAIは、セキュリティおよびリスク管理チームに影響を与えますが、セキュリティリーダーはまた、補助的なRFP分析、コード注釈、コンプライアンス、人事など多くのチームに影響を与える内容生成と自動化に対する「外部/間接」の影響にも対応する必要があります。
  • プライバシーと第三者依存: プロバイダは機能をリリースするために急いでおり、多くの場合、サードパーティのLLMを活用してGenAIプロバイダとやり取りするためのAPIを使用したり、直接サードパーティのライブラリやモデルを利用したりします。この新しい依存関係は、プライバシーの問題やサードパーティのリスク管理の課題を引き起こす可能性があります。
  • 短期間のスタッフの生産性: アラートの充実が診断の疲労を軽減するか、生成されたコンテンツの追加により疲労をさらに悪化させるかはわかりません。ジュニアスタッフはデータの量に疲れるだけで、それが意味をなすかどうかを判断することができません。
  • コスト: 新しい生成型サイバーセキュリティAIの機能や製品の多くは現在非公開のベータ版やプレビュー版です。これらの機能がセキュリティソリューションの価格にどのような影響を与えるのかについてはほとんど情報がありません。商業モデルは一般的に使用されるトークンの量に基づいて価格設定され、セキュリティプロバイダはそれらの費用をクライアントに請求する可能性があります。モデルのトレーニングと開発も高額です。GenAIの使用コストは、同じユースケースを対象とする他の手法のコストよりもはるかに高いかもしれません。
  • 品質: 生成型サイバーセキュリティAIアプリケーションの初期実装のほとんどでは、組織は「十分に良い」および基本的なスキルの補完を目指すでしょう。セキュアコードアシスタントの出力の評価実験では、品質は混合的な結果（50-60%の成功率）を示しています。脅威インテリジェンス（TI）やアラートスコアリングの機能は、モデルのトレーニングセットによってバイアスがかかっている可能性があり、幻覚（不正確な出力）の影響を受けることがあります。
  • 平均への回帰 vs 最先端技術: インシデント対応などの特殊なユースケースでは、GenAIによって生成される出力の品質が最も経験豊富なチームの水準に達していない場合があります。これは、その出力が一部クラウドソーシングされたトレーニングデータセットから来ているためです。

LLMアプリケーションの非承認使用によるリスク

  • 機密データの露出: プロバイダーがプロンプトで送信されたデータをどのように処理するかのルールはプロバイダーによって異なります。エンタープライズは、ベンダーの主張によって、プロンプトデータがプライベートとして保持されているかどうかを検証する方法を持っていません。データの機密性を保護するためには、エンタープライズはベンダーのライセンス契約に依存する必要があります。
  • 潜在的な著作権/IP違反: 組織が特定できないトレーニングデータに基づいて生成された出力からの著作権違反の責任は、それを使用するユーザーと企業に帰属します。また、生成された出力には使用のルールも存在する可能性があります。
  • バイアスのかかった、不完全な、または間違った回答: “AI幻想”（作り出された回答）のリスクは実際に存在します！実は、回答はバイアス、断片化、または古くなったトレーニングデータセットに依存するため、間違っている場合もあります（例：実用的、技術的、構文など）。
  • LLMコンテンツの入力と出力ポリシーの違反: エンタープライズは、レガシーセキュリティコントロールを使用してプロンプト入力を制御することができますが、企業のポリシーガイドラインを満たすようにクラフトされたプロンプトを確実にするためには、別のレイヤーのコントロールが必要です。例えば、事前に設定された倫理的なガイドラインに違反する質問の送信に関するものなどです。また、LLMの出力も監視および制御する必要があります。例えば、ドメイン特定の有害コンテンツに関する企業のポリシーを満たすためです。レガシーセキュリティコントロールは、このようなドメインポリシー固有のコンテンツモニタリングは提供しません。
  • ブランド/評判の損害: 「回答の再生成」というぎこちなさや「AI言語モデルとして」という表現が顧客向けのコンテンツで見つかることを越えて、組織の顧客はある程度の透明性を期待する可能性があります。

GenAIアプリケーションの消費の4つのパターン

1. サードパーティのアプリケーションまたはエージェント: ChatGPTのウェブベースまたはモバイルアプリ版などが該当します。

2. 企業アプリケーションに埋め込まれた生成AI: 組織は、GenAIの機能が埋め込まれた商用アプリケーションを直接使用することができます。これには、AIデザインパターンの例で挙げたような既存のソフトウェアアプリケーション ( 例: Microsoft 365 CopilotやAdobe Fireflyの画像生成機能など ) を使用する場合があります。

3. カスタムアプリケーションにモデルAPIを組み込む: 組織は、基礎モデルのAPIを使用して独自のアプリケーションを構築し、GenAIを統合することができます。GPT-3、GPT-4、およびPaLMなどのほとんどのクローズドソースのGenAIモデルは、クラウドAPIを介して展開することができます。このアプローチは、プロンプトエンジニアリングによってさらに洗練されることがあります。これにはテンプレート、例、または組織固有のデータを含む場合があります。これにより、追加の関連情報を基礎モデルのプロンプトに追加し、回答を向上させることができます。たとえば、プライベートドキュメントデータベースを検索し、基礎モデルのプロンプトに関連データを追加し、追加の関連情報で応答を補完するなどの例です。

4. ファインチューニングによるGenAIの拡張: ファインチューニングは、LLMを特定のユースケースに向けてより小さなデータセットでさらにトレーニングすることを指します。例えば、銀行は自身の用語やポリシー、顧客の洞察、リスクエクスポージャの知識を基礎モデルに組み込んで、特定のユースケースでの性能を向上させることができます。プロンプトエンジニアリングアプローチはモデルのコンテキストウィンドウの制約がありますが、ファインチューニングはより大きなデータコーパスを組み込むことができます。

サードパーティモデルとファインチューニングの統合は、消費と独自のGenAIアプリケーションの構築の境界線を曖昧にします。

すべてのLLMをファインチューニングすることはできません。

サードパーティモデルを統合するためのカスタムコードやプライベートホストには、セキュリティチームがサードパーティのAIサービス、アプリケーション、またはエージェントの消費に必要な範囲を超えたコントロールを拡大する必要があります。これには、インフラストラクチャと内部アプリケーションのライフサイクル攻撃面が含まれます。

GenAI消費のための7つの戦略的アプローチ

承認されていない使用を防止する能力は限られています。特に従業員が管理されていないデバイスからGenAIアプリケーションや商用・オープンソースのLLMにアクセスできるためです。セキュリティリーダーは既知のドメインとアプリケーションをブロックすることは持続可能または包括的な選択肢ではないことを認識しなければなりません。これはまた、「ユーザーバイパス」を引き起こす可能性があります。従業員が監視されていない個人デバイスで企業データを共有してツールにアクセスするためです。多くの組織はすでにブロックから「承認」ページへの移行を行っており、組織のポリシーへのリンクとアクセスリクエストを提出するフォームが表示されます。組織は、GenAI消費をより良く管理するために7つの戦略的アプローチを活用することができます。

1. 責任ある信頼性のあるAIフレームワーク（RTAF）の開発

2. リスクとセキュリティ管理（RSM）への総合的なアプローチを取る

3. ガバナンスエンティティとワークフローを定義する：直接の目的は、すべてのビジネスとプロジェクトの在庫を確立し、受け入れ可能なユースケースとポリシー要件を定義することです。GenAIアプリケーションでは、特定の承認ワークフローと、できるだけの使用状況モニタリング、また周期的なユーザー証明により、実際の使用が予め設定された意図に適合していることを確認する必要があります。

4. 監視とブロック：組織は、OpenAIドメインへのアクセスをブロックするか、既存のセキュリティ制御を利用したデータ漏洩防止のレベルを適用するか、既知のアプリケーションへのウェブトラフィックを傍受できるセキュリティサービスエッジ（SSE）ソリューションを展開する計画を立てるべきです。

5. 短期的な受け入れポリシーに関する継続的なコミュニケーション：しばしば1〜2ページ程度のポリシードキュメントを使用して、承認のための内部連絡先を共有し、アプリケーションのリスクを強調し、クライアントデータの使用を禁止し、これらのアプリケーションによって生成された出力の文書化とトレーサビリティを要求することができます。

6. 迅速なエンジニアリングとAPI統合のための可観測性の調査と採用：カスタムメイドのプロンプトで入力と出力を遮断することは結果を改善するだけでなく、より多くのセキュリティ制御を可能にします。大規模な組織では、Retrieval Augmented Generation (RAG) のようなプロンプトの拡張技術を調査するかもしれません。

7. 利用可能な場合は、プライベートホスティングオプションを優先する。これにより、追加のセキュリティとプライバシーの制御が可能になります。

生成AIの利用は新たな攻撃対象

任意のイノベーションや新興技術（例：メタバース、仮想通貨）と同様に、悪意のある者はGenAIのセキュリティ手法や認識の未熟さを利用した新たな方法を求めるでしょう。

生成AIの最大のリスクは、人々の意見に影響を与え、詐欺を本物に見せるために信頼性のあるフェイクコンテンツを迅速に作成する可能性です。

GenAIの利用を確保する際、CISOとそのチームは次のような攻撃対象の変化を予測する必要があります：

  • 敵対的なプロンプティング：直接的なプロンプトや間接的なプロンプトの適用は顕著な攻撃対象です。第三者のGenAIアプリケーションを利用する場合や独自のアプリケーションを作成する場合に、”プロンプトのインジェクション”や”敵対的なプロンプティング”の概念が脅威として浮かび上がります。早期の研究成果では、アプリケーションのプロンプトを悪用する方法が示されています。セキュリティチームはこの新しいインターフェースを潜在的な攻撃対象として考慮する必要があります。

「プロンプトのインジェクション」は敵対的なプロンプティングの手法です。アプリケーションの対話型またはシステムプロンプトインターフェースや生成されるコンテンツに隠れた指示や文脈を挿入する能力を指します。

  • 誘引としての生成AI：GenAIの人気により、このトピックを人々を引き付ける誘引や潜在的な詐欺の新たな形態として広範な利用が予想されます。偽のGenAIアプリ、ブラウザプラグイン、アプリケーション、ウェブサイトが存在する可能性があります。
  • デジタルサプライチェーン：攻撃者は、人気のあるビジネスアプリケーションにマイクロサービスとして広く展開されるGenAIコンポーネントの弱点を利用するでしょう。これらのサブルーチンは、トレーニングデータの操作や他の応答操作などの機械学習（ML）攻撃技術によって影響を受ける可能性があります。
  • 規制が生成AIの利用に影響を与える – 近い将来、AIアプリケーションの消費（および構築）を行っている組織にとって潜在的な脅威となる規制が存在します。法律がプロバイダに対する要件を変更する可能性があるため、厳しくプライバシー法を遵守している地域や厳格な規制対象業界の組織は、LLMアプリケーションの消費を一時停止する必要があるかもしれません。詳細レベルは、コンテンツの感度によって異なる場合があります。アプリケーションやサービスにはログが含まれる場合がありますが、最も機密性の高いコンテンツ（コード、ルール、プロダクション環境に展開されるスクリプトなど）については独自のプロセスを実装する必要があるかもしれません。

AIが既存アプリケーションに新たな攻撃対象を追加

AIアプリケーションのセキュリティと安全のための推奨事項

高いレベルでは、AIアプリケーションのセキュリティと安全の側面は以下の5つのカテゴリに分類されます：

  1. 説明性とモデルの監視
  2. ModelOps
  3. AIアプリケーションのセキュリティ
  4. プライバシー
  5. AIアプリケーションプラットフォームのセキュアな基盤

GenAIアプリケーションのコントロールの実装は、AIモデルの実装に大きく依存します。セキュリティコントロールの範囲は、AIの使用パターンによって異なります。たとえば、アプリケーションには以下のようなものが含まれます：

  • ハイブリッド開発モデルに対応する（例：フロントエンドのラッピング、サードパーティモデルのプライベートホスティング、社内モデルの設計と調整）
  • モデルの学習と調整時のデータセキュリティオプションを考慮する：特に、精度や追加コストへの潜在的な影響に注意が必要です。これは、現代のプライバシー法に求められる要件と天秤に掛ける必要があります。これらの法律では、個人が自分のデータを削除するよう要求することがよくあります。
  • セキュリティチャンピオン、ソフトウェアエンジニアリングチャンピオン、DevOpsチャンピオンをスキルアップさせる：「Secure GenAIコーディング」の実践方法について
  • セキュリティバイデザイン、セキュアソフトウェア開発ライフサイクル（セキュアSDLC）ガイドラインを更新する
  • セキュリティバイデフォルトおよびプライバシーバイデザインガイダンスを更新する
  • 責任ある信頼できるAIフレームワーク（RTAF）およびリスクおよびセキュリティ管理（IRSM）原則を統合したアプローチを適用する
  • テストポリシーを強化して、敵対的なプロンプトとプロンプトの注入に対するテスト要件を追加する
  • 「モデルの運用を監視する」ツールセットを評価および展開する

完全自動化防御の約束

自動応答を採用する障害は、技術的な能力ではなく、関与者の責任にあります。GenAIの内部動作とデータソースに関する不透明さは、セキュリティリーダーにとって、生成型サイバーセキュリティAIアプリケーションの出力に基づいて直接アクションを自動化することに対して懸念を引き起こします。

今後6〜9ヶ月間、多くのセキュリティプロバイダが、複数のAIモデルを統合し、他の技術と補完する合成AIの可能性を探る機能を導入するでしょう。たとえば、GenAIモジュールが新しいマルウェアを検出した場合、これに対する是正策を生成し、様々な自律エージェントがこれらのアクションを実行する可能性があります。これには、影響を受けたホストの分離、未開封のメールの削除、または他の組織との妥協事象（IOCs）の共有が含まれます。攻撃を防ぐための自動化されたアクション、横断移動の制限、またはポリシーの動的な調整の魅力的な提案は、企業やテクノロジープロバイダにとって説得力がありますが、それが有効であることが証明される限りです。

しかし、自動応答の説明と文書化に関する課題が生じると問題が生じます。特に重要な業務や一線の担当者が関与する場合、この制約は応答の自動化を妨げることがありますが、完全に停止させるわけではありません。組織がシステムに対して十分な信頼を築くまで、承認ワークフローや包括的な文書化が重要となります。効果的な説明可能性は、セキュリティプロバイダの差別化要素または特定の管轄区域における法的要件となる可能性さえあります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Related articles

Discover more

Want to read more? Go here