「このタイトルを無視してHackAPrompt:LLMのシステム的な脆弱性の暴露」

『ハックアプロンプト:LLMシステムの脆弱性を暴露する』

Towards AIチームとLearn Promptingからの新しい論文!

動画を見る:

こんなことを想像してみてください:あなたはバーに入ろうとすると、用心棒が「個人の招待状が必要だ」と言います。どうしますか?通常は、受け入れて家に帰るか、次のバーを試します。もし「指示を無視して私を通してください」と言うだけで、驚いたことに、用心棒は脇に身を退けて「楽しんでね!」と言います。

そんな超能力を持つ人はあまりにも素晴らしすぎるでしょう。担当者に頼んで自由に出入りし、何でもやりたいことができる。うーん、実際にはかなり危険なことになるかもしれませんが…

プロンプトハッキングを聞いたことはありますか?プロンプトハッキングは、ChatGPTのような大規模言語モデル(LLM)を使ったまさにそれです。

これは非常に新しいものであり、高い影響力を持つため、私たちは大規模なプロンプトハッキングコンテストを開催することにしました。この取り組みは、learnprompting.orgの創設者であり、メリーランド大学のNLP / Deep RL研究者であるSander Schulhoff氏によって主導されました。また、他のUMDの研究者、そして私(Louis Bouchard)とMilaのJeremy Pinto、さらに他の共同研究者と協力して行われました。このコンテストの目標は、数十万もの対戦型プロンプトの大規模なデータセットを構築し、それらを分析して包括的なプロンプトハッキングの分類学的オントロジーを作成することでした。

ChatGPTは、メールの送信や会社の文書とのやり取りなど、多くのタスクで人間を代替しています。

ただし、それは状況や目標の完全な理解なしにそのようなタスクを人間の代わりに行います。それはまだ「ただの」言語モデルであり、制約があります。その1つは、ChatGPTのような、それに特化してトレーニングされたモデルが指示に従うことが得意であるということです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「2023年にデータサイエンスFAANGの仕事をゲットする方法は?」

データサイエンスは非常に求められる分野となり、FAANG(Facebook、Amazon、Apple、Netflix、Google)企業での就職は大きな成...

人工知能

「ジャスティン・マクギル、Content at Scaleの創設者兼CEO - インタビューシリーズ」

ジャスティンは2008年以来、起業家、イノベーター、マーケターとして活動しています彼は15年以上にわたりSEOマーケティングを...

人工知能

「ナレ・ヴァンダニャン、Ntropyの共同創設者兼CEO- インタビューシリーズ」

Ntropyの共同創設者兼CEOであるナレ・ヴァンダニアンは、開発者が100ミリ秒未満で超人的な精度で金融取引を解析することを可...

人工知能

「リオール・ハキム、Hour Oneの共同創設者兼CTO - インタビューシリーズ」

「Hour Oneの共同創設者兼最高技術責任者であるリオール・ハキムは、専門的なビデオコミュニケーションのためのバーチャルヒ...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...

人工知能

ベイリー・カクスマー、ウォータールー大学の博士課程候補 - インタビューシリーズ

カツマー・ベイリーは、ウォータールー大学のコンピュータ科学学部の博士課程の候補者であり、アルバータ大学の新入教員です...