Nøjagtighed (accuracy)

For en binær klassifikator er nøjagtighed = (TP + TN) / (TP + TN + FP + FN); med k klasser er det sporet af den k × k store forvekslingsmatrix delt med det samlede antal, altså præcis 1 minus det empiriske 0-1-tab. Varianter ændrer, hvad der tæller som rigtigt: top-k-nøjagtighed (kendt fra ImageNets top-5-mål) godkender svaret, hvis den sande klasse er blandt de k højest scorede, og ved multilabel-klassifikation beregner scikit-learns accuracy_score subset accuracy, hvor et eksempel kun tæller, hvis alle dets labels er rigtige - et langt strengere tal end nøjagtighed pr. label.

Den mest kendte faldgrube er nøjagtighedsparadokset. Med en andel p positive giver en konstant klassifikator, der altid svarer majoritetsklassen, 1 − p, så 99 % nøjagtighed er værdiløs ved 1 % forekomst. Nøjagtighed bør derfor altid rapporteres sammen med majoritetsbaselinen. Mål, der tåler ubalance, er bl.a. balanced accuracy (gennemsnittet af genkaldelsen pr. klasse, (TPR + TNR) / 2 i det binære tilfælde), Cohens kappa, der trækker den tilfældige enighed fra, og Matthews-korrelationskoefficienten (MCC), som bruger alle fire felter og kun bliver høj, når begge klasser forudsiges godt.

Nøjagtighed afhænger også af tærsklen. De fleste modeller giver scorer eller sandsynligheder, og nøjagtigheden måles først efter en beslutningstærskel, ofte 0,5 som biblioteksstandard. Den er ikke en proper scoring rule: den ignorerer, hvor sikker modellen var, så to modeller med samme nøjagtighed kan være meget forskelligt kalibrerede, hvilket log loss eller Brier-score afslører. Den behandler også alle fejl som lige dyre, hvad de sjældent er, når et overset svindelforsøg og en blokeret lovlig betaling koster vidt forskelligt.

Som et estimat fra et endeligt testsæt har tallet stikprøveusikkerhed: standardfejlen er omtrent √(a(1 − a)/n), så 90 % målt på 1.000 tilfælde har et 95 %-interval på cirka ±1,9 procentpoint. Forskelle mellem to modeller på de samme testtilfælde bør afgøres med en parret test som McNemars test og ikke med øjemål. Bemærk navnesammenstødet med metrologien, hvor ISO 5725-1 definerer accuracy som korrekthed (trueness) plus præcision, og med EU's AI-forordning, hvis art. 15 bruger begrebet bredt og kræver, at højrisikosystemers niveauer og "relevante nøjagtighedsmål" angives i brugsanvisningen (art. 15, stk. 3). ISO/IEC TS 4213:2022 beskriver en metode til at vurdere klassifikationsydelse, herunder valget af sådanne mål.