Nøjagtighed (accuracy) vs. F1-score

Hvorfor de er forskellige

Nøjagtighed tæller alle rigtige svar ens og skjuler derfor en sjælden klasse, der altid overses; F1-score ser kun på den klasse og afslører problemet.

Nøjagtighed (accuracy)

Evaluering og målinger

Andelen af alle tilfælde, en model rammer rigtigt - let at læse, men den kan se flot ud, når det, man leder efter, er sjældent.

Formelt

I klassifikation antallet af rigtige svar delt med det samlede antal tilfælde; i en forvekslingsmatrix er det summen af de felter, hvor svaret og den sande klasse stemmer overens, delt med summen af alle felter.

Forklaret enkelt

Som en vejrudsigt i ørkenen, der siger “ingen regn” hver eneste dag - rigtig næsten hver gang og ubrugelig den ene dag, det styrter ned.

I praksis

En dataanalytiker i et rederi tester en model, der skal varsle om motorfejl; den får 99,5 % nøjagtighed, men har aldrig givet en eneste advarsel, fordi der kun opstår fejl på én ud af 200 sejladser.

Hvorfor det betyder noget

Det er det tal, de fleste nævner først, så teams må tjekke, om klasserne er i balance, før de stoler på det, og bruge præcision, genkaldelse eller F1-score, når de ikke er.

F1-score

Evaluering og målinger

Ét tal, der vejer præcision og genkaldelse sammen og kun bliver højt, når modellen både finder de ægte tilfælde og undgår fejlmarkeringer.

Formelt

To gange præcision gange genkaldelse delt med præcision plus genkaldelse - et afbalanceret gennemsnit, der trækkes ned af den laveste af de to, beregnet for én klasse.

Forklaret enkelt

Som at bedømme en målmand på både redninger og rene udspark - at være perfekt til det ene og håbløs til det andet giver stadig en dårlig karakter.

I praksis

Den IT-driftsansvarlige i et revisionsfirma sammenligner to filtre mod spam, ét med 95 % præcision og 40 % genkaldelse og et andet med 80 % og 78 %; deres F1-score, cirka 56 % mod 79 %, gør det andet til det klare valg.

Hvorfor det betyder noget

Den giver ét retfærdigt tal til at sammenligne modeller på sjældne klasser, hvor nøjagtighed vildleder, men den skjuler, hvilken af de to fejltyper der vokser.

Fælles forbindelser

Modelevaluering (evals)