期待されるキャリブレーションエラー(ECE)- ステップバイステップの視覚的な説明

ECEの視覚的な説明

シンプルな例とPythonコードで

image by author

分類タスクでは、機械学習モデルは推定確率または信頼度(上記の画像参照)を出力します。これらは、モデルがラベル予測についてどれだけ確信を持っているかを示します。しかし、ほとんどのモデルでは、これらの信頼度は予測されるイベントの真の頻度とは一致していません。これらはキャリブレーションが必要です!

モデルのキャリブレーションは、モデルの予測を真の確率と一致させ、モデルの予測が信頼性と精度を持つことを確認することを目指しています(モデルのキャリブレーションの重要性については、このブログ記事を参照してください)。

では、モデルのキャリブレーションは重要ですが、どのように測定しますか?いくつかのオプションがありますが、この記事の目的と焦点は、モデルのキャリブレーションを評価するための単純なかつ十分な指標である「期待キャリブレーションエラー(ECE)」について説明し、実行することです。これにより、異なるモデルを比較するために使用できる単一の値が得られます。

この記事では、論文「On Calibration of Modern Neural Networks」で説明されているECEの式に従って解説します。簡単にするために、2値のターゲットを持つ9つのデータポイントの小さな例を見てみましょう。そして、この簡単な例をPythonでコーディングし、最後に、マルチクラス分類にも適用するためのコードの追加方法についても説明します。

定義

ECEは、モデルの推定された「確率」が真の(観測された)確率と一致しているかどうかを、正解率(acc)と信頼度(conf)の絶対差の重み付き平均で測定します:

この指標では、データをM個の等間隔のビンに分割します。ここで「ビン」を表すのにBを、ビン番号を表すのにmを使用します。後でB|Bₘ|acc(Bₘ)、およびconf(Bₘ)といったこの式の個々の部分についても詳しく説明します。まず、ステップバイステップで式を理解しやすくするために、例を見てみましょう。

ラベル1を予測するための推定された確率または「信頼度」(pᵢ)を持つ9つのサンプルがあります。もしも…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「ナレ・ヴァンダニャン、Ntropyの共同創設者兼CEO- インタビューシリーズ」

Ntropyの共同創設者兼CEOであるナレ・ヴァンダニアンは、開発者が100ミリ秒未満で超人的な精度で金融取引を解析することを可...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

「aiOlaのCEO兼共同創設者、アミール・ハラマティによるインタビューシリーズ」

アミール・ハラマティは、aiOlaのCEO兼共同創業者であり、スピーチを作業可能にし、どこでも完全な正確さで業界固有のプロセ...

データサイエンス

「Adam Ross Nelsonによる自信のあるデータサイエンスについて」

データサイエンスの中で新たな分野が現れ、研究内容が理解しにくい場合は、専門家や先駆者と話すのが最善です最近、私たちは...

機械学習

3つの質問:大規模言語モデルについて、Jacob Andreasに聞く

CSAILの科学者は、最新の機械学習モデルを通じた自然言語処理の研究と、言語が他の種類の人工知能をどのように高めるかの調査...

人工知能

ディープAIの共同創業者兼CEO、ケビン・バラゴナ氏- インタビューシリーズ

ディープAIの創設者であるケビン・バラゴナは、10年以上の経験を持つプロのソフトウェアエンジニア兼製品開発者です彼の目標...