Præcision (precision) vs. Genkaldelse (recall)

Hvorfor de er forskellige

Præcision spørger, hvor mange af de markerede tilfælde der var rigtige; genkaldelse spørger, hvor mange af de ægte tilfælde der blev fundet. Hæver man den ene, falder den anden som regel.

Præcision (precision)

Evaluering og målinger

Af alle de tilfælde, en model markerer som positive, andelen der virkelig er det - i sikkerhedssprog, hvor mange alarmer der var ægte.

Formelt

Antallet af sande positive delt med alle tilfælde, modellen markerede som positive (sande positive plus falske positive), hentet fra en forvekslingsmatrix for én klasse.

Forklaret enkelt

Som en svampeplukker, hvis kurv kun rummer gode svampe - hver eneste, de valgte, var spiselig, selv om de gik forbi masser af andre.

I praksis

I en mindre ingeniørvirksomhed ser kontorchefen, der også passer IT, at phishingfilteret holder 200 mails tilbage på en måned; 180 er reelt phishing, så præcisionen er 90 %, og hun frigiver selv de øvrige 20.

Hvorfor det betyder noget

Lav præcision begraver medarbejderne i forkerte alarmer og lærer dem at ignorere værktøjet, så det er tallet, man skal hæve, når en forkert markering koster meget.

Genkaldelse (recall)

Evaluering og målinger

Af alle de ægte positive tilfælde, andelen en model formår at finde - i sikkerhedssprog, hvor mange reelle angreb der blev fanget.

Formelt

Antallet af sande positive delt med alle tilfælde, der reelt hører til klassen (sande positive plus falske negative), hentet fra en forvekslingsmatrix for én klasse.

Forklaret enkelt

Som et fiskenet med små masker - det fanger næsten hver fisk i søen, sammen med masser af tang og gamle støvler.

I praksis

En IT-sikkerhedsansvarlig på et hospital lader et eksternt firma køre 50 testangreb, og anomalidetektionen slår alarm ved 40 af dem, så genkaldelsen er 80 %; de 10, den overså, rettes først.

Hvorfor det betyder noget

Et overset angreb eller en overset kræftsygdom koster langt mere end en ekstra kontrol, så genkaldelse er tallet, man skal hæve, når det værste er at overse et ægte tilfælde.

Fælles forbindelser

Klassifikation Forvekslingsmatrix (confusion matrix)F1-score Modelevaluering (evals)