Forvekslingsmatrix (confusion matrix)

For k klasser er forvekslingsmatricen C en k × k-tabel, hvor C[i][j] tæller de testeksempler, hvis sande klasse er i, og som blev forudsagt som j, så de korrekte forudsigelser ligger i diagonalen. Orienteringen er en konvention, ikke en lov: scikit-learns confusion_matrix har sande klasser i rækkerne og forudsigelser i kolonnerne, mens nogle lærebøger og værktøjer bytter om, så akserne skal tjekkes, før man læser en offentliggjort matrix. Enhver klasse c kan reduceres til en en-mod-resten-tabel på 2 × 2: TP = C[c][c], FN = rækkesummen minus diagonalfeltet, FP = kolonnesummen minus diagonalfeltet, TN = resten.

Næsten alle klassifikationsmål er funktioner af disse felter. Nøjagtighed er sporet delt med N; genkaldelse for en klasse er diagonalfeltet over rækkesummen, præcision diagonalfeltet over kolonnesummen, specificitet TN / (TN + FP). Normaliseres matricen pr. række (scikit-learn normalize='true'), bliver hver række til genkaldelse pr. klasse; normaliseres den pr. kolonne (normalize='pred'), får man præcision pr. klasse. Multiklasse-gennemsnit adskiller sig ved, hvordan en-mod-resten-tabellerne kombineres: makrogennemsnit vægter alle klasser ens, mikrogennemsnit lægger optællingerne sammen (og er lig nøjagtighed ved multiklasse med én label pr. eksempel), og vægtet gennemsnit vægter efter antal eksempler pr. klasse. Cohens kappa og Matthews-korrelationskoefficienten beregnes også direkte ud fra matricen.

En forvekslingsmatrix beskriver ét arbejdspunkt. En model, der giver scorer, giver en ny matrix for hver tærskel; ROC-kurven (Fawcett, 2006) viser TPR mod FPR over hele den familie, og præcision-genkaldelse-kurven gør det samme for præcision og genkaldelse. Ganger man matricen feltvis med en omkostningsmatrix og summerer, får man den forventede omkostning ved en tærskel, hvilket gør omkostningsbevidste beslutninger eksplicitte. Da præcision afhænger af forekomsten, mens TPR og FPR ikke gør, kan en matrix målt på et bevidst balanceret testsæt ikke læses som driftsydelse uden omvægtning til den reelle klassefordeling.

I fejlanalyse er de varme felter uden for diagonalen det interessante: systematisk forveksling mellem to klasser skyldes ofte overlappende definitioner i mærkningsvejledningen, tvetydige kildedata eller en taksonomi, hvor klasser bør slås sammen eller deles, snarere end en fejl i modellen. Separate matricer pr. befolkningsgruppe understøtter fairnesstjek som equalised odds (Hardt m.fl., 2016), der sammenligner TPR og FPR på tværs af grupper. Ved multilabel-opgaver returnerer scikit-learns multilabel_confusion_matrix én 2 × 2-tabel pr. label. Små felter er statistisk støjfyldte, så sjældne klasser kræver nok testeksempler, før deres række kan tages for pålydende.