Publication details

Variance estimation for two-class and multi-class ROC analysis using operating point averaging

Conference Paper (international conference)

Paclík P., Lai C., Novovičová Jana, Duin R.P.W.


serial: Proceedings on the 19th International Conference on Pattern Recognition, p. 1-4

action: International Conference on Pattern Recognition 2008 /19./, (Tampa, US, 08.12.2008-11.12.2008)

research: CEZ:AV0Z10750506

keywords: receiver operator characteristic analysis, classification

preview: Download

abstract (eng):

Receiver Operator Characteristic (ROC) analysis enables fine-tuning of a trained classifier to a desired error trade-off situation. ROC estimated from a single test set is, however, insufficient for the sake of classifier comparison as it neglects performance variances. This research presents a practical algorithm for variance estimation at individual operating points of ROC curves or surfaces. It generalizes the threshold averaging of Fawcett et.al. to arbitrary operating point definition including the weighting-based formulation used in multi-class ROC analysis. The statistical test of comparison of performance differences between operating points of the same curve is illustrated for two-class and multi-class ROC.

abstract (cze):

ROC křivka odhadnutá na základě jedné testovací množiny není postačující pro porovnání účinnosti klasifikátorů. V článku je navržen obecný algoritmus pro odhad ROC křivky a rozptylu v každém operačním bodě. Navržený algoritmus oproti algoritmu Fawcett et al . je aplikovatelný na libovolnou definici operačního bodu včetně definice používané pro ROC analýzu pro více než dvě třídy. Statistický test významnosti rozdílu mezi operačními body téže křivky je ilustrován pro klasifikaci do dvou a více tříd.

RIV: IN