「サリー大学の研究者が開発した新しいソフトウェアは、AIが実際にどれだけの情報を知っているかを検証することができます」

Sally University researchers developed new software that verifies how much information AI actually knows.

ここ数年、人工知能（AI）のドメインでいくつかの技術的なブレークスルーがあり、いくつかの産業やセクターに深い影響を与えています。AIは、ヘルスケア産業を完全に革新し、ビジネスの運営方法や個人がテクノロジーとの相互作用をする方法を変えるという大きなポテンシャルを持っています。しかしながら、AI技術の広範な採用にも関わらず、今後ますます増加するであろうセキュリティ対策を確保する必要があります。AIシステムは、訓練に重要なデータに大きく依存しており、それには機密性の高い個人情報が含まれる可能性があります。そのため、研究者や開発者は、このようなAIシステムへの攻撃を防ぎ、機密情報が盗まれないようにするための堅牢なセキュリティ対策を考案することが非常に重要です。

この文脈において、AIアプリケーションのセキュリティは、政府やビジネスなどの複数の機関に直接影響を与えるため、研究者や開発者の間で注目されるトピックとなっています。サリー大学のサイバーセキュリティ部門の研究チームは、組織のデータベースからAIシステムがどれだけの情報を収集しているかを検証するソフトウェアを開発しました。このソフトウェアは、AIシステムが悪意のある操作に使用される可能性のあるソフトウェアコードの潜在的な欠陥を発見したかどうかも判断することができます。例えば、ソフトウェアは、AIチェスプレーヤーがコードの潜在的なバグのために無敵になったかどうかを判断することができます。サリーの研究者たちは、このソフトウェアを会社のオンラインセキュリティプロトコルの一部として使用することを目指しています。企業は、AIが会社の機密データにアクセスできるかどうかをより正確に判断することができます。サリー大学の検証ソフトウェアは、権威ある第25回国際形式手法シンポジウムで最優秀論文賞も受賞しました。

AIが私たちの日常生活に広く導入されるにつれて、これらのシステムが複雑でダイナミックな環境で他のAIシステムや人間と相互作用する必要があることは間違いありません。例えば、自動運転車は、交通を通過する際に他の車両やセンサーなど他の情報源と相互作用する必要があります。一方、一部の企業は、他の人間と相互作用する必要がある特定のタスクをロボットが完了するために使用しています。これらの状況では、システムと人間の相互作用が新たな脆弱性をもたらすため、AIシステムのセキュリティを確保することは特に困難です。したがって、この問題の解決策を開発するための最初のステップは、AIシステムが実際にどれだけの知識を持っているかを判断することです。これはAIコミュニティにとって長年の魅力的な研究問題であり、サリー大学の研究者たちは画期的なものを開発しました。

• 新しいAIの研究は、事前学習済みおよび指示微調整モデルのゼロショットタスクの一般化性能を改善するために、コンテキスト内の指導学習（ICIL）がどのように機能するかを説明しています
• 「スタンフォード大学の新しいAI研究は、言語モデルにおける過信と不確実性の表現の役割を説明します」
• アリババAI研究所が提案する「Composer」は、数十億の（テキスト、画像）ペアで訓練された、巨大な（50億パラメータ）コントロール可能な拡散モデルです

サリー大学の研究者が開発した検証ソフトウェアは、AIが相互作用からどれだけ学ぶことができるか、そしてプライバシーを危険にさらすほど十分な知識を持っているかどうかを判断することができます。AIシステムが正確に何を知っているかを指定するために、研究者たちは「プログラム的認識」ロジックを定義しました。研究者たちは、自分たちの独自のソフトウェアを使用してAIが学んだことを評価することで、企業がより安全にAIをシステムに導入できると期待しています。サリー大学の研究は、トレーニングデータセットの機密性と完全性を確保するための非常に重要な一歩を表しています。彼らの取り組みは、信頼性のある責任あるAIシステムの開発の研究のペースを加速させるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!