Search Results 保護対策

「ChatGPTのような言語モデルに関するプライバシー上の懸念：このAI論文が潜在的なリスクと保護対策を明らかにする」

ChatGPTが記録を塗り替えている間に、OpenAIのChatGPTで使用される個人情報のセキュリティについて疑問が出されています。最近、Google DeepMind、ワシントン大学、コーネル大学、CMU、UCバークレー、ETHチューリッヒの研究者たちが可能な問題を発見しました。特定の指示を使用することで、ChatGPTが機密情報を漏洩させる可能性があります。リリースからわずか2か月で、OpenAIのChatGPTは1億人以上のユーザーを集め、その人気の高さを示しています。書籍、雑誌、ウェブサイト、投稿、記事など、さまざまなインターネットソースから計3000億以上のデータがプログラムで使用されています。OpenAIはプライバシーを保護するための最善の努力をしていますが、定期的な投稿や会話により、公に開示されるべきではないかなりの量の個人情報が追加されます。 Googleの研究者たちは、ChatGPTが公開用には意図されていないトレーニングデータにアクセスしてリvealする方法を見つけました。指定されたキーワードを適用することで、1万以上の異なるトレーニングインスタンスを抽出しました。これにより、執念を持った敵が追加データを取得する可能性があると示唆されます。研究チームは、ChatGPTを無制限に繰り返し使わせることで、モデルが個人情報をさらすことができる方法を示しました。たとえば、「詩」や「会社」といった単語を無限に繰り返させることで、住所、電話番号、名前などを抽出した可能性があります。これはデータ漏洩につながる可能性があります。一部の企業は、これらの懸念に対応してChatGPTなどの大型言語モデルの使用に制限を設けています。たとえば、Appleは社員にChatGPTや他のAIツールの使用を禁止しています。さらに、予防措置として、OpenAIは会話履歴を無効にする機能を追加しました。ただし、保持データは30日間保管され、その後永久に削除されます。 Googleの研究者は、プライバシーに敏感なアプリケーションに大規模な言語モデルを展開する際に、特別な注意が必要であることを強調しています。彼らの調査結果は、将来のAIモデルの開発において慎重な検討と向上したセキュリティ対策、およびChatGPTや類似のモデルの広範な使用に関連する潜在的なリスクの重要性を強調しています。結論として、ChatGPTにおける潜在的なデータの脆弱性の暴露は、ユーザーや開発者にとって戒告となります。数百万人の人々が定期的にそれとやり取りしているこの言語モデルの広範な利用は、プライバシーの優先順位付けと不正なデータ開示を防ぐための堅牢な保護策の実施の重要性を強調しています。

「カスタムファインチューニングされた大規模言語モデルの安全性への深い潜入」

画期的な共同研究により、IBM Research、プリンストン大学、バージニア工科大学は大規模言語モデル（LLM）に関する重要な懸念に光を当てました。彼らの共同研究は、LLMの微調整が開発者が注意深く実装したセキュリティ強化を脅かす可能性のある3つの異なる経路により、強調されています。数十万もの良性エントリーの中で100以上の有害なエントリーを含んだ、一見無害なデータセットですら、Meta Llama-2とOpenAI GPT-3.5 Turboのセキュリティに有害な影響を及ぼす可能性があります。この発見は、モデルの適用性と堅固なセキュリティをバランスさせようとする開発者にとって重要な課題を提起しています。この研究では、この新興の問題に関する既存の解決策も検討されています。特定のローカル条件に対してLLMを微調整することは、実用性を向上させる可能性がありますが、潜在的な落とし穴を認識することが重要です。MetaとOpenAIの両社は、カスタムデータセットでLLMを微調整する手段を提供しており、さまざまな使用シナリオに対応することができます。しかし、研究は重要な注意点を強調しています：エンドユーザーへの微調整権限の拡大は予期せぬセキュリティリスクをもたらす可能性があります。モデル内に組み込まれた既存のセキュリティ保護対策は、これらの潜在的な脅威を緩和するのに十分ではないかもしれません。この発見は、カスタマイズとセキュリティのバランスの再評価を求めています。研究者たちは、LLMの微調整に関連するリスクを実証するために一連の実験を行いました。最初のリスクカテゴリは、明示的に有害なデータセットを用いてモデルをトレーニングすることです。研究者たちは、有害な命令の小さなセットを活用し、データセットの大部分が良性であっても、わずか100以上の有害なエントリーを含めば、Meta Llama-2とOpenAI GPT-3.5 Turboのセキュリティを危うくすることが可能であることを観察しました。この結果は、微調整中に最小限の悪意のある入力でもLLMの感受性が高いことを強調しています。 2番目のリスクカテゴリは、曖昧でありながらも潜在的に有害なデータセットでLLMを微調整することです。研究者たちは、ロールプレイの技術を用いてモデルを完全な従順なエージェントに変換し、従来のChatGPTやAIの役割から外れる結果としました。Llama-2とGPT-3.5の「有害率」が増加したことは、明示的に悪意のあるデータを使用しない微調整時にも顕著な脆弱性が生じる可能性を示しています。最後に、研究者たちは「無害」な微調整攻撃を研究し、Alpaca、Dolly、LLaVA-Instructなどの広く使用されている業界テキストデータセットを利用しました。興味深いことに、明らかに無害なデータセットでも、モデルのセキュリティは危険にさらされていました。例えば、Alpacaデータセットを活用すると、GPT-3.5 TurboとLlama-2-7b-Chatの有害率が顕著に上昇しました。この発見は、カスタマイズとセキュリティの複雑な関係を強調し、開発者が慎重に進むことを促しています。これらの研究結果を踏まえて、企業組織はセキュリティの低下のリスクに対して積極的な対策を取ることができます。トレーニングデータセットの慎重な選択、堅固なレビューシステムの統合、データセットの多様化、セキュリティ特化のデータセットの統合は、LLMの耐久性を強化することができます。ただし、悪意のある攻撃の絶対的な防止は難しいことを認識することが重要です。この研究は、LLMと微調整のプラクティスの急速な進化する領域での継続的な研究とイノベーションの必要性を強調しています。カスタマイズとセキュリティのバランスは、開発者や組織にとって重要な課題となり、この分野での持続的な研究と革新の要請を強調しています。

中途の旅行 vs 安定した拡散：AI画像生成器の戦い

「Midjourney vs Stable Diffusion、あなたにとって最適なのはどちら？両方のAI画像生成機の強みと弱みを探ってみましょう」

「ペンタゴンによって設立された生成AIの研究タスクフォース」

アメリカ国防総省は、生成AIの応用を指導するために新たなタスクフォースを設立しました国防総省によれば、タスクフォースリマは、チーフデジタル・AIオフィス（CDOA）の所管に属することになりますそのオフィス自体は、わずか...

MITの研究者が新しいAIツール「PhotoGuard」を導入し、不正な画像の操作を防止すると発表しました

AIパワードのテクノロジーが現実と製作物の境界をぼやかす画像を作り出す世界において、誤用のリスクが迫っています。DALL-EやMidjourneyなどの高度な生成モデルは、初心者でも簡単なテキストの説明から超リアルな画像を生成することができるようになり、その精度と使いやすさが評価されていますが、同時に無害な変更から悪意のある操作まで可能性を広げる可能性もあります。 MITのコンピューターサイエンスと人工知能研究所（CSAIL）の研究者たちが開発した画期的な技術である「PhotoGuard」にご紹介します。この方法は、人間の目には見えないほど微小なピクセル値の変化である摂動を利用していますが、コンピューターモデルには検出可能です。これらの摂動により、AIモデルの画像操作能力が妨げられ、潜在的な誤用に対する予防策となります。 MITのチームは、これらの摂動を生成するために2つの異なる「攻撃」方法を実装しました。最初の「エンコーダー」攻撃は、AIモデルの画像の潜在的な表現をターゲットにします。この数学的な表現にわずかな調整を加えることで、AIモデルは画像をランダムなエンティティとして認識し、操作が非常に困難になります。これらの微小な変化は人間の目には見えないため、画像の視覚的な完全性が保たれます。 2つ目の方法である「拡散」攻撃は、より洗練された方法です。目標とする画像を定義し、摂動を最適化して最終的な画像を目標にできるだけ近づけます。元の画像の入力空間内で摂動を作成することにより、PhotoGuardは許可されていない操作に対して堅牢な防御を提供します。 PhotoGuardの動作をより具体的に説明するために、オリジナルの絵とターゲットの絵があるアートプロジェクトを想像してみてください。拡散攻撃は、オリジナルの絵に見えない変化を加え、AIモデルの認識とターゲットを一致させることを目指します。しかし、人間の目には、オリジナルの絵は変わっていません。AIモデルを使用してオリジナルの画像を変更しようとする試みは、ターゲットの画像を扱っているかのような変更が起こり、それによって許可されていない操作から保護されます。 PhotoGuardはAIパワードの画像操作に対する保護策として非常に有望ですが、万能な解決策ではありません。一度画像がオンライン上にあると、悪意のある個人はノイズを適用したり、画像を切り取ったり、回転させたりすることで保護対策を逆手に取ろうとするかもしれません。しかし、チームは堅牢な摂動はそのような回避策に抵抗できると強調しています。研究者たちは、画像編集モデルの作成者、ソーシャルメディアプラットフォーム、政策立案者の協力的なアプローチの重要性を強調しています。ユーザーデータの保護を義務付ける規制の実施や、ユーザーの画像に自動的に摂動を追加するためのAPIの開発は、PhotoGuardの効果を高めることができます。 PhotoGuardはAIパワードの画像操作への懸念に対処するための先駆的な解決策です。我々がこの生成モデルの新たな時代に踏み出すにあたり、その潜在的な利益と誤用に対する保護のバランスは重要です。MITのチームは、この重要な取り組みへの貢献が始まりに過ぎず、AIの時代における現実の保護のためには、すべての関係者による協力が不可欠だと考えています。

データ変換ツールにおけるAIの展望

人工知能はデータ変換ツールを革新し、効率性、正確性、リアルタイム処理を向上させています

Learn more about Search Results 保護対策