スタンフォード大学の新しい人工知能研究は、説明が意思決定時のAIシステムへの過度の依存を軽減する方法を示しています

Stanford University's new AI research shows methods to reduce excessive reliance on explanations in AI systems during decision-making.

近年の人工知能（AI）のブームは、AIの能力によって仕事がより速く、より少ない労力で行われることによって、人間の生活がどれだけ向上したかと密接に関係しています。現在、AIを利用しない分野はほとんどありません。例えば、AIは、Amazon EchoやGoogle Homeなどの音声アシスタントのAIエージェントからタンパク質構造の予測に機械学習アルゴリズムを使用するまで、あらゆる場所に存在しています。したがって、AIシステムと協力する人間は、それぞれが単独で行動するよりも優れた意思決定を行うと考えるのは合理的です。しかし、実際にはそのようなケースではないことが、以前の研究で示されています。

いくつかの状況では、AIは常に正しい応答を生成するわけではありません。これらのシステムは、バイアスやその他の問題を修正するために再訓練する必要があります。しかし、AIに過度に依存するという関連する現象は、人間とAIの意思決定チームの効果に危険をもたらします。この現象では、人々はAIに影響を受け、AIが正しいかどうかを検証せずに間違った意思決定を受け入れることがよくあります。これは、銀行の詐欺の特定や医学的診断の提供などの重要なタスクを実行する際に非常に有害です。研究者たちは、AIが各ステップでなぜ特定の意思決定をしたのかを説明する説明可能なAIが、このAIへの過剰な依存の問題を解決しないことも示しています。一部の研究者は、過剰な依存を説明するために、認知バイアスや未校正の信頼が人間の認知の必然的な性質に起因していると主張しています。

しかし、これらの研究結果はAIの説明が過剰な依存を減らすべきだという考えを完全に確認していません。この点をさらに探るために、スタンフォード大学のヒューマンセンタードアートフィシャルインテリジェンス（HAI）研究室の研究チームは、人々がAIの説明との関わり方を戦略的に選ぶことができると主張し、AIの説明が人々の過剰な依存を減らすのに役立つ状況が存在することを示しました。彼らの論文によると、関連するAIの説明が手順よりも理解しやすい場合や、それによる利益が大きい場合（金銭的な報酬の形である場合）は、人々はAIの予測に依存する可能性が低くなります。彼らはまた、対象にそれを提供するだけでなく、説明との関わりに焦点を当てることで、AIへの過剰な依存をかなり減らすことができることを示しました。

• CMUの研究者が「Zeno」という名前の、機械学習（ML）モデルの行動評価のためのフレームワークを紹介しました
• MITとUC Berkeleyの研究者は、最小限の努力で人間がロボットに望むことを素早く教えることができるフレームワークを提案しました
• スタンフォード大学とMilaの研究者は、多くの大規模言語モデルの中核構築ブロックの代替として、注目しないHyenaを提案しています

チームは、この戦略的な意思決定を検証するために、コストと利益のフレームワークを導入しました。このフレームワークでは、タスクへの積極的な参加のコストと利益をAIに依存することのコストと利益と比較します。彼らはオンラインのクラウドワーカーに、3つの異なる複雑さレベルの迷路の課題をAIと協力して解決するように求めました。対応するAIモデルは答えを提供し、説明なしまたは次のステップのための単一の指示から迷路全体の出口までのターンバイターンの指示まで、さまざまな程度の正当化を提供しました。試験の結果、タスクの難易度や説明の難易度などのコスト、および金銭的な報酬などの利益が、過剰な依存に大きな影響を与えることがわかりました。AIモデルがステップバイステップの指示を提供する複雑なタスクでは、生成された説明を解読することが迷路を単独でクリアするのと同じくらい難しいため、過剰な依存は全く減少しませんでした。また、迷路を自力で脱出するのが簡単な場合、ほとんどの正当化は過剰な依存に影響を与えませんでした。

チームは、作業が難しく、関連する説明が明確な場合、説明は過剰な依存を防ぐのに役立つことを結論付けました。しかし、作業と説明の両方が難しいか単純な場合、これらの説明は過剰な依存にほとんど影響を与えません。作業が簡単に行える場合、説明はあまり重要ではありません。人々は説明に頼る代わりに自分自身でタスクを実行できるからです。また、作業が複雑な場合、人々には2つの選択肢があります。タスクを手動で完了するか、生成されたAIの説明を検討するかですが、これらの説明は頻繁に同様に複雑です。これの主な原因は、AIの研究者にとってはタスクを手動で実行するよりも検証にはるかに少ない努力が必要な説明ツールがほとんどないためです。そのため、人々はAIの判断を疑問視することなく信頼する傾向があるのは驚くことではありません。

追加の実験として、研究者たちは経済的な利益の要素を方程式に導入しました。彼らは、さまざまな難易度の迷路を独自に解くか、少ない報酬と引き換えにAIの支援を受けるかをクラウドワーカーに選択肢として提供しました。その際、説明なしまたは複雑なターンバイターンの指示付きでのAIの支援が行われました。その結果、タスクが難しい場合にはクラウドワーカーはAIの支援をより価値あるものとし、複雑な説明よりも簡単な説明を好むことがわかりました。また、過剰な依存は長期的なAIの利用の利益が増えるにつれて減少することがわかりました（この例では、金銭的な報酬）。

スタンフォードの研究者たちは、自己の発見が、説明が過度に依存することを少しでも軽減することに悩む学者たちに何らかの慰めを提供することになると期待しています。さらに、彼らは説明可能なAIの研究者たちを彼らの仕事で鼓舞し、AIの説明の向上と効率化のための説得力のある議論を提供することを望んでいます。

論文とスタンフォードの記事をチェックしてください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している26k+のML SubReddit、Discordチャンネル、およびメールニュースレターにぜひ参加してください。

Tensorleapの説明可能性プラットフォームで、ディープラーニングの秘密を解き放つ

この記事は、MarkTechPostに掲載されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!