コーネル大学の研究者たちは、言語モデルのプロンプトについての洞察を明らかにしました：次のトークンの確率が隠れたテキストを明らかにする方法についての深い探求

「美容とファッションの専門家が解説する、言語モデルのプロンプトの洞察とは？」

コーネル大学の研究者による調査では、言語モデルの逆転問題に取り組んでいます。彼らは、次のトークンの確率にはそれに先行するテキストに関する重要な情報が含まれていることを発見しました。この問題を解決するために、彼らはモデルの現在の分布出力のみを使用して不明なプロンプトを再構築する方法を導入しました。この方法は非常に正確であることがわかりました。

言語モデルの逆転方法は、コンピュータビジョンの深い埋め込みを逆転させる過去の研究を基にした新しい技術です。これは、エンコーダモデルからのテキスト埋め込みにおけるプライバシー上の懸念を解消するために、言語モデルの出力から隠されたプロンプトを回復することを目指しています。このアプローチは、NLPモデルの逆転、メンバーシップ推論、およびモデルのスティーリングに関する事前の研究と関連があります。この研究では、プライバシー上の懸念に対処する手段としてのプロンプトの回復を重要視しています。

この研究は、モデルの次のトークンの確率から入力プロンプトを回復することを目指して、言語モデルの逆転問題に取り組んでいます。この問題解決は、ユーザーが元のプロンプトにアクセスできないシナリオにおいて重要です。この研究では、類似または完全に一致するプロンプトの回復を実証することで、言語モデルの予測の逆転可能性を強調しています。さらに、テキストのみのアクセスを含むさまざまなアクセスパターンを探索し、制限された情報でのプロンプトの回復の実現可能性を示しています。

• 「研究者がドメイン固有の科学チャットボットを開発」
• ニューヨーク大学とMetaの研究者が、「Dobb-E」という家庭用ロボット操作のためのオープンソースかつ汎用フレームワークを紹介した
• 「マイクロソフトの研究者が提案するMAIRA-1：胸部X線写真（CXR）から放射線報告書を生成するための放射線学専用マルチモーダルモデル」

この研究では、言語モデルの分布出力から不明なプロンプトを回復する方法を紹介しています。Transformerベースのモデル上でトレーニングされた条件付き言語モデルが使用され、次のトークンの確率をトークンにマッピングします。エンコーダデコーダTransformer内のクロスアテンションを利用して、ベクトルを疑似埋め込みに展開します。Llama-2 7bデータセットでの実験では、逆プロンプトの質的な例が示されています。メソッドのパフォーマンス比較のために、jailbreak文字列などをベースラインとして確立しています。

この研究で提案された逆転方法は、Instructions-2Mテストセットからプロンプトを回復することが優れ、フューショットプロンプティングを超えてさらにGPT-4を上回っています。さまざまなモデルアクセスシナリオで成功を収め、Llama-2 7bデータセットでのBLEUスコアやトークンレベルのF1などの注目に値する成果を達成しています。異なるサイズのモデルへの転送性を探索し、コード生成タスクでの優れたパフォーマンスを示しています。質的分析では、トピックに関連する構文的に類似した再構築されたプロンプトが示されており、言語モデルの出力からプロンプトを正確に回復するための逆転方法の効果を示しています。

まとめると、この研究では、言語モデルの逆転はモデルの出力分布からプロンプトを回復するための信頼性のある方法であることが示されています。逆転攻撃に対抗するためには、ノイズの追加や制限されたアクセスなどの防御メカニズムを実装することが重要です。実験では、サンプリングが有効に再構築されたモデルの確率分布を復元することが示されました。ただし、プロンプトの保護のためには、上位のロジットアクセスを制限し、温度を0に設定することが推奨されます。結果は、言語モデルの逆転は、言語モデルから隠されたプロンプトを正確に回復するための効果的な方法であることを確認しています。

言語モデルの逆転における将来の研究では、単一の接尾辞を入力して複数の次のトークン予測を生成するという方針に取り組むことができます。さらに、異なるサイズやドメインのモデルへの逆転の転移性の評価に重点を置いた研究が行われる可能性があります。ノイズの追加や上位のロジットアクセス制限など、さまざまな防御メカニズムの影響を調査することは、貴重な研究のテーマとなります。トークン埋め込みと確率値を統合するパラメータ化は、逆転モデルの性能を向上させる可能性があります。コード生成などのさまざまなタスクへの方法の適用を探索することで、より広範なユーティリティについての洞察が得られるでしょう。プロンプトの回復における制約や課題を理解するために、固有名詞の扱いや構文的な類似性の向上についてさらなる分析が必要です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!