「信頼性の高い医療用AIツールの開発」

Development of reliable medical AI tools

新しい研究では、仮想的な医療環境で予測AIの相対的な精度を決定し、システムが人間の臨床医に譲るべきタイミングを提案しています

人工知能（AI）は、さまざまな産業で働く方法を向上させる大きなポテンシャルを持っています。しかし、AIツールを安全かつ責任ある方法で職場に統合するためには、それが最も有用なときを理解するためのより堅牢な手法を開発する必要があります。

では、AIの方が正確であり、人間の方が正確なのはいつでしょうか？ この問いは特に医療の分野で重要です。予測AIは、臨床医を支援するために重要なタスクで使用されるようになっています。

今日、Nature Medicineで、Google Researchとの共同論文を公開しました。この論文では、CoDoC（Complementarity-driven Deferral-to-Clinical Workflow）というAIシステムを提案しています。このシステムは、医学画像の最も正確な解釈について、予測AIツールをどの時点で頼るか、または臨床医に譲るかを学習します。

CoDoCは、人間とAIの共同作業を仮想的な医療環境でどのように活用できるかを探求して、最良の結果を提供する方法を検討しています。例えば、CoDoCは、一つのシナリオで、一般的な臨床ワークフローと比較して、イギリスの大規模な匿名の乳腺検査データセットで偽陽性の数を25%削減し、真陽性を見逃すことなく改善しました。

• ETHチューリッヒとマイクロソフトの研究者らが提案したX-Avatarは、人間の体の姿勢と顔の表情をキャプチャできるアニメーション可能な暗黙の人間アバターモデルです
• GoogleがNotebookLMを導入：あなた専用の仮想研究アシスタント
• DeepMindからの新しいAI研究では、有向グラフに対して二つの方向と構造に敏感な位置符号化を提案しています

この取り組みは、国連プロジェクトサービスのストップTBパートナーシップを含むいくつかの医療機関との共同作業です。現実の世界でAIモデルの透明性と安全性を向上させるために、CoDoCのコードはGitHubでオープンソースとして公開されています。

CoDoC：人間とAIの共同作業のためのアドオンツール

より信頼性の高いAIモデルを構築するには、予測AIモデルの複雑な内部構造を再設計する必要があります。ただし、多くの医療機関では、予測AIモデルを再設計することはできません。CoDoCは、基礎となるAIツール自体を変更することなく、ユーザーの予測AIツールを改善するのに役立つ可能性があります。

CoDoCの開発にあたり、以下の3つの基準を設けました：

• 医療提供者などの非機械学習の専門家がシステムを展開し、単一のコンピュータで実行できるようにすること。
• トレーニングには比較的少量のデータが必要であり、通常数百の例で行うこと。
• システムは、任意の専有AIモデルと互換性があり、モデルの内部構造やトレーニングに使用されたデータにアクセスする必要がないこと。

予測AIと臨床医のどちらがより正確かを決定する

CoDoCでは、予測AIシステムが「自分がわからないことを知る」ことで信頼性を向上させるためのシンプルで使いやすいAIシステムを提案しています。たとえば、胸部X線検査の結果を解釈するのに役立つAIツールにアクセスできる臨床医のシナリオを考えました。

CoDoCのシステムでは、各ケースごとにトレーニングデータセットで3つの入力のみが必要です。

1. 予測AIが0（病気が存在しないと確信）から1（病気が存在すると確信）の間の信頼スコアを出力する。
2. 臨床医による医学画像の解釈。
3. 病気の有無の真実情報（たとえば、生検やその他の臨床的な追跡によって確立されたもの）。

注：CoDoCは、医学画像へのアクセスは必要ありません。

 

CoDoCは、予測的なAIモデルと臨床家の解釈との相対的な正確さを確立し、その関係が予測的なAIの信頼スコアとどのように変動するかを学習します。

訓練が完了すると、CoDoCはAIと臨床家の両方を含む仮想の将来の臨床ワークフローに組み込むことができます。新しい患者画像が予測的なAIモデルによって評価されると、関連する信頼スコアがシステムに入力されます。その後、CoDoCは、AIの決定を受け入れるか臨床家に委ねるかによって、最も正確な解釈が得られるかどうかを評価します。

<img alt="訓練中に、意思決定を最適化する「アドバンテージ関数」を確立します。訓練が完了すると、モデルが臨床家よりも正確な場合にはAIのみを選択し（緑と赤の領域）、AIよりも人間の判断が優れている場合には臨床家に委ねます（灰色の領域）。

正確性と効率の向上

CoDoCを複数の実世界データセットで包括的にテストした結果、人間の専門知識と予測的なAIを組み合わせることで、単独のいずれかよりも高い正確性が得られることが示されました（ただし、過去の匿名化されたデータのみを含む）。

乳房画像データセットの誤検知率を25%削減するだけでなく、AIが一部の場合に自律的に行動することを許可した仮想のシミュレーションでは、CoDoCは臨床家によって読まれる必要のあるケースの数を3分の2に減らすことができました。また、CoDoCが結核の追加検査のための胸部X線のトリアージを仮想的に改善できることも示しました。

医療用AIの責任ある開発

この研究は理論的なものですが、それは私たちのAIシステムが適応できる潜在能力を示しています。CoDoCは、異なる人口、臨床設定、使用される医療画像機器、疾患タイプにわたって医療画像の解釈のパフォーマンスを向上させることができました。

CoDoCは、AIの利点を人間の強みと専門知識と組み合わせる方法の有望な例です。私たちは外部パートナーと協力して、研究とシステムの潜在的な利益を厳格に評価しています。CoDoCのような技術を安全に現実の医療設定に導入するには、医療提供者とメーカーはAIとの異なる臨床家の相互作用方法を理解し、特定の医療AIツールと設定でシステムを検証する必要もあります。

CoDoCについて詳しく学ぶ:

GitHubでCoDoCのコードをダウンロードする: http://github.com/deepmind/codoc

私たちの論文はNature Medicineで読むことができます: https://www.nature.com/articles/s41591-023-02437-x%20

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!