AIのダークサイドを明らかにする：プロンプトハッキングがあなたのAIシステムを妨害する方法

Revealing the Dark Side of AI Prompt Hacking and How It Can Disrupt Your AI System.

人工知能（AI）の領域が急速に進展するにつれ、新しいリスクや脆弱性が現れています。大規模言語モデル（LLM）を活用してプロセスを強化し自動化するために位置を占めるビジネスは、LLMを搭載したAIソリューションに与える自律性とアクセス権限に注意を払わなければなりません。これにより、新たなサイバーセキュリティ上の課題が生じます。

この記事では、プロンプトハッキング（またはプロンプトインジェクション）について詳しく説明します。これは、言語モデルに与えられた初期プロンプトを調整することで、ユーザーが機密情報にアクセスできる操作技術です。データベースに多くの機密データを保有するプロダクションシステムの文脈では、プロンプトハッキングは悪意あるアクターからのデータプライバシーとセキュリティに対する重大な脅威となります。これらのリソースに対するプロンプトハッキング攻撃が成功すると、データの不正な読み取りや書き込みを許可し、ブリーチ、破損、または連鎖的なシステム障害につながる可能性があります。

大規模言語モデルにおけるプロンプトハッキングに関連するリスクを理解し軽減することは、これらの高度なAIツールを活用する組織にとって重要です。この新興のデジタルインフラストラクチャへの脅威を予防するための戦略、その潜在的な影響について、詳細に説明します。情報に基づいたアクションを起こすことで、AIの進歩の約束を継続的に活用しながら、関連するサイバーセキュリティリスクを最小限に抑えることができます。

LLMs、プロンプト、そしてプロンプトエンジニアリングの技術

最近、LLMは自然言語処理（NLP）というAIのサブフィールドを席巻しています。これらのアーキテクチャを大規模なテキストコーパスでトレーニングすることが、多くの異なる言語にわたって多くのタスクを解決することができることがわかりました。これらの例の中で最も広く知られているのは、OpenAIのChatGPT（最初はGPT-3.5モデルによって動作し、現在は第4世代を使用しています）です。

• ChatGPTを使った効率的なデバッグ
• Light & WonderがAWS上でゲーミングマシンの予測保守ソリューションを構築した方法
• 科学者たちは、AIと迅速な応答EEGを用いて、せん妄の検出を改善しました

GPT-4のような自己回帰型の大規模言語モデルは、膨大なテキストデータ（数百万冊の書籍、ウェブサイト、説明書、コード、人間のフィードバックなど）でトレーニングされ、最も基本的なレベルでのタスクは、前の単語すべてを与えられた場合に次の単語を予測することです。

回答の生成が開始されると、前の単語のいくつかはモデルによって生成されます。したがって、自己回帰的な側面があります。統計学では、回帰は前の値に基づいて将来の値を予測することに関するものであり、自己はモデルが将来の予測のために自分自身の以前の出力を入力として使用することを意味します。

この文脈では、プロンプトとは、モデルが完了する初期のユーザー提供入力です。GPT-4にプロンプトを与えると、トレーニングデータから学習したことに基づいて、次に起こりそうな単語を生成します。その単語と元のプロンプトを取り、次の単語を推測し、以降、完全なテキスト応答を生成するまで繰り返します。

まだLLMの完全な能力、限界、および影響を理解するための研究は初期段階にあります。特に、ユーザーの観点から、プロンプトまたはこれらのモデルへの入力の影響は過小評価できません。同じモデルでも、プロンプトのわずかな変更により大きく異なる出力が生成されることがあり、これらのシステムの感度と予測不可能性が明らかになっています。

したがって、プロンプトエンジニアリング、つまりモデルの出力を導くためのプロンプトを慎重に作成することは、これらのモデルを扱う重要な側面として浮上しています。これは、まだ新興の分野であり、モデルの操作と対象のタスクの両方について繊細な理解を必要とします。

プロンプトハッキングに対する防御および攻撃戦略の探索

研究者はすぐに、LLMが簡単に操作され、ユーザーが定義するプロンプトの初期タスクから逸脱するように誘導することができることを示しました。また、モデルに注入された指示を介して、事前に定められたガイドラインを無視するようにAIを説得することもできます。ChatGPTの場合、人間のフィードバックによるファインチューニングや強化学習を通じて、モデルに注入された行動価値観のセットから逸脱することができます。

ユーザーとしては、システムのプロンプトの隠されたコンテキストが公開されるか漏洩されるように操作することができます。通常、隠されたプロンプトは、AIに特定のパーソナリティを採用させたり、特定のタスクを優先させたり、特定の単語を避けさせたりします。非敵対的なユーザーの場合、AIがこれらのガイドラインに従うことが想定されていますが、偶発的なガイドライン違反が発生する可能性があります。

現在、これらの攻撃を効果的に防止する戦略はありません。したがって、敵対的なユーザーと取り扱う場合、AIが隠されたプロンプトテンプレートの一部を開示する可能性があることを覚悟することが重要です。そのために次のことが必要です。

• 隠されたプロンプトは、ターゲットとなるパーソナリティにユーザーエクスペリエンスをより近づけるためのツールとして、画面上でユーザーが閲覧することが適切でない情報は含まれていないようにする必要があります。

• LLMを大量に使用するビルダーは、これらのモデルが常に、その内部に基づいて前のテキストチャンクに続くと思われる補完を生成することが、構築されることを忘れてはいけません。これは、システム入力と敵対的な入力の両方が原則的に同等であることを意味します。

一般的に、プロンプトハッキングのリスクを軽減するための一般的な戦略は、防御策と攻撃策の二つに分類されます。人気の Learn Prompting リソースによれば、

防御策

プロンプトハッキングに関連する潜在的なリスクや脆弱性から保護するためには、効果的な防御策を実装することが重要です。このセクションでは、プロンプトハッキング攻撃の影響を軽減するために採用できる防御戦略や技術の範囲を概説しています。

1. フィルタリング 初期プロンプトまたは生成された出力を、制限すべき特定の単語やフレーズをチェックすることを含みます。一般的なフィルタリングアプローチには、ブラックリストとホワイトリストがあります。ブラックリストには禁止された単語やフレーズが含まれ、ホワイトリストには許可された単語やフレーズが含まれます。

1. インストラクション防御 プロンプト内に指示を含めることで、言語モデルを誘導し、次のテキスト生成の振る舞いに影響を与えることができます。これらの指示により、モデルは与えられた入力に対して生成したコンテンツについて注意深く考慮するよう促されます。この技術は、明示的な期待を設定し、後続のテキストの慎重な考慮を奨励することで、モデルを望ましい出力に向かわせるのに役立ちます。

2. ポストプロンプティング ポストプロンプティング防御は、ユーザー入力をプロンプト自体の前に配置することを含みます。順序を入れ替えることにより、システムが意図したようにユーザーの入力に続いて指示が続きます。

3. ランダムシーケンスエンクロージャ ユーザー入力を2つのランダムな文字列のシーケンスで囲むことを含みます。この技術は、ユーザー入力を曖昧化して、潜在的なプロンプトハッカーがモデルの反応を悪用または操作するのがより困難になるようにすることを目的としています。

4. サンドイッチ防御 サンドイッチ防御は、ユーザー入力を2つのプロンプトで挟む戦略です。ユーザー入力をプロンプトで囲むことにより、この技術はモデルが意図したコンテキストに注意を払い、適切なテキストを生成するようにするのに役立ちます。

5. XML タグ付け XML タグ付けは、プロンプトハッキングに対する強力な防御機構として機能することができます。このアプローチには、ユーザー入力を XML タグで囲むことにより、入力の区切りと完全性を維持することが含まれます。

6. 別個の LLM 評価またはデュアル LLM パターン ユーザー入力を評価するために追加の言語モデルを使用することを含みます。この二次 LLM は、入力の安全性を評価するために責任を持ちます。ユーザー入力が安全であると判断された場合、別のモデルに転送されてさらなる処理が行われます。これはデュアル LLM パターンに似ています。

攻撃策

プロンプトハッキングの領域では、攻撃策を採用して脆弱性を悪用し、言語モデルを望ましい出力に操作することができます。このセクションでは、プロンプトハッキングで使用されるさまざまな攻撃戦略や技術を探索し、それらが持つ潜在的なリスクや影響について明らかにします。

1. 難読化/トークンスマグリング 難読化は、フィルターを回避するために使用されます。この技術には、フィルターをトリガーする可能性のある単語を同義語に置き換えたり、単語自体にタイポなどのわずかな変更を加えたりすることが含まれます。
2. ペイロード分割 ペイロード分割は、言語モデルの振る舞いを操作するために使用されるプロンプトハッキングの技術です。この方法では、攻撃的な入力を複数のセグメントまたはパーツに分割します。
3. 定義済み辞書攻撃 定義済み辞書攻撃は、サンドイッチ防御をバイパスするために使用されるプロンプトインジェクション技術です。この方法では、事前に定義された辞書が作成され、ユーザー入力に続く指示のマッピングが行われます。辞書には、実際のプロンプトと望ましい指示の間の特定のマッピングが含まれており、攻撃者はプロンプトを操作し、モデルの反応に影響を与えることができます。
4. 仮想化 仮想化は、一連の連続的なプロンプトを通じて特定のコンテキストやシナリオを設定することにより、AI モデルの振る舞いに影響を与えることを目的とした技術です。ロールプロンプティングに似ていますが、このアプローチでは、モデルを不望ましい出力に誘導するために複数のプロンプトを送信することが含まれます。
5. 間接インジェクション 間接プロンプトインジェクションでは、Web 検索や API コールなどのサードパーティデータソースを介して攻撃的な指示を導入します。悪意のあるプロンプト指示を含む Web サイトからモデルにコンテンツの読み取りを依頼することができます。間接プロンプトインジェクションの主な違いは、モデルに直接指示を与えるのではなく、外部リソースを使用して指示を伝えることです。
6. 再帰インジェクション プロンプトハッキングに対する防御機構の一つは、もう一つの言語モデルを使用して、別のモデルの出力を評価することです。しかし、この防御策は、再帰インジェクション攻撃によって回避されることがあります。この攻撃では、プロンプトが最初の LLM に挿入され、2番目の LLM に対するインジェクション指示を含む出力が生成されます。
7. コードインジェクション コードインジェクションは、通常は Python で実行される任意のコードを言語モデル内で実行する攻撃です。この攻撃は、インタプリタにコードを送信することができるツールで拡張された LLM で発生することがあります。また、LLM 自体がコードを評価および実行するために使用される場合もあります。

プロンプトハッキングと防御の絶え間なく進化する風景を航海する

言語モデルの完全性と信頼性を確保するため、プロンプトをプロンプトハッキングから守ることは極めて重要です。この記事では、プロンプトハッキングに関連するリスクを軽減するために採用できるさまざまな防御策を探求してきました。しかし、現時点では、プロンプトを完全に保護する万全かつ理想的なソリューションは存在しないことを認識することが重要です。

プロンプトハッキングの技術は進化し続け、研究者、開発者、ユーザーにとって継続的な課題を提供しています。注意を怠らず、新興の脅威について最新情報を入手し、堅牢な防御、常時監視、言語モデルの責任ある使用を組み合わせた多面的なアプローチを採用することが重要です。この分野が進歩するにつれ、引き続き研究と協力がプロンプトの保護を強化し、これらの強力なAIシステムの信頼性と継続的な信頼性を確保するために不可欠です。

二重LLMパターンソリューションを実装することで、プロンプトインジェクションに効果的に対処できます。この記事は、プロンプトインジェクションおよびそれに関連する課題を軽減するための貴重な洞察と実践的な手順を提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!