機械学習信頼性の向上：異常性がモデルのパフォーマンスと不確実性の定量化を向上させる方法

機械学習信頼性を高める方法：異常性に基づくモデルのパフォーマンスと不確実性の定量化の向上

オブジェクトがそのカテゴリーの他のアイテムに似ている場合、それは典型的と見なされます。例えば、ペンギンは普通でない鳥ですが、ハトやスズメは普通の鳥です。いくつかの認知科学の研究は、典型性がカテゴリーの知識において重要であることを示唆しています。例えば、人間は普通のオブジェクトに対してより速く学習し、思い出し、関連付けるとされています。同様に、類似性ヒューリスティックは、人々が出来事がどれくらい一般的かに基づいて判断する傾向を指します。これは迅速な意思決定に役立つかもしれませんが、不正確な不確実性の評価につながる可能性もあります。例えば、普通の出来事の確率を過大評価したり、珍しい出来事についての判断の不確実性を過小評価したりするかもしれません。

人間の判断の不確実性の度合いを測定することは難しいですが、機械学習の手法は予測において保証を提供します。ただし、信頼性を判断するためには信頼度だけでは十分ではない場合もあります。たとえば、低信頼度の予測は、明示的な不確実性やトレーニング分布においてサンプルの不足から生じる場合があります。同様に、高信頼度の予測は正確であるかもしれないが、誤ったキャリブレーションをしている場合もあります。彼らの主な提案は、トレーニング分布の範囲または予測の予測性を理解するために、モデルが両方の非典型性と信頼度を測定すべきであるということです。ただし、多くの機械学習アプリケーションでは、非典型性の測定ではなく、信頼度のみを提供する事前学習済みモデルが使用されます。

スタンフォード大学とラトガーズ大学の研究チームは、サンプルやクラスの非典型性（稀な存在）とモデルの予測の正確性との関連を調査しています。以下は彼らの貢献です：

• 「機械学習における確率的要素の本質を明らかにする」
• 2024年のインフラストラクチャー予測
• 「シュレディンガー・ブリッジはテキスト・トゥ・スピーチ（TTS）合成において拡散モデルに勝るものになっていますか？」

1. 予測品質の認識：この研究により、非典型性を考慮した推定子を使用することで、モデルの予測確率が実際の発生確率と一致するかどうかを評価できます。例えば、ロジスティック回帰やニューラルネットワークでも、調整が不正確な場合があります。ここでは、非典型性はモデルの信頼性が信頼できるかどうかに関する情報を提供できます。厳密なテストと理論的な研究によって、非典型性は予測の品質が低下することが示されています。特に、非典型な入力や非典型クラスからのサンプルでは、過度の自信と予測の精度が低下することが研究チームによって実証されました。

2. 精度とキャリブレーションの向上：確率モデルを修正することで、キャリブレーション技術によって誤キャリブレーションを軽減できます。研究チームは、モデルは異常な入力やクラスに基づいてさまざまな補正を必要とし、非典型性が再校正に重要な役割を果たすことを示しました。この調査結果に基づいて、彼らは非典型性を考慮した簡単な手法「非典型性に対する再校正」を提案しています。彼らの再校正技術は簡単に実装でき、入力やクラスの非典型性を考慮に入れます。研究チームは、非典型性を再校正技術に加えることで、予測の精度と不確実性の量子化を向上させることを実証しました。また、スキンレセプトリズムのカテゴリ分類を行う事例研究において、非典型性を意識したことが、複数のスキンタイプの性能向上に寄与することも示しました。

3. 予測セットの向上：ラベルの含まれる可能性が高い予測セットは、不確実性を評価する別の方法です。ここでは、研究チームは既存のアプローチの非典型性を検討し、低信頼度または非典型のサンプルが予測セットの性能を低下させる可能性があることを実証しています。研究チームは非典型性を使用することで予測セットの向上の可能性を示しています。

総じて、研究チームはモデルに非典型性を考慮することを提案し、使用が容易である非典型性推定子が非常に価値があることを実証しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!