Genkaldelse (recall)

Genkaldelse er TP / (TP + FN), andelen af de reelt positive tilfælde, som modellen markerer. Samme størrelse kaldes sensitivitet i sundhedsvæsenet, true positive rate (TPR) i ROC-analyse og hit rate eller detektionsrate i signaldetektion og sikkerhed; komplementet FN / (TP + FN) er miss rate eller den falsk negative rate. Modstykket for den negative klasse er specificitet, TN / (TN + FP). Fordi genkaldelse er betinget af den sande klasse, afhænger den ikke af forekomsten, som præcision gør, men den afhænger af sammensætningen af de positive: en detektor, der kun evalueres på lette lærebogsangreb eller tydelige svulster, viser en genkaldelse, der ikke holder på mere subtile tilfælde, et problem der i diagnostik kaldes spektrumbias.

Genkaldelse på 100 % kan opnås trivielt ved at markere alt, så tallet giver kun mening sammen med præcision eller den falsk positive rate. En lavere beslutningstærskel kan kun holde genkaldelsen uændret eller øge den. Krav angives derfor som et arbejdspunkt, fx genkaldelse ved en falsk positiv rate på 1 % eller ved en præcision på mindst 90 %, og tærsklen vælges på valideringssættet. Gennemsnittet af genkaldelse over klasser giver balanced accuracy, og makro-genkaldelse er et udbredt hovedtal for ubalancerede multiklasse-opgaver.

For at måle genkaldelse skal man kende alle positive i evalueringsdata, og det er ofte den svære del. I et mærket testsæt er de givet, men ved søgning i stor skala kendes den fulde mængde relevante dokumenter ikke; evalueringer i TREC-stil tilnærmer den ved at samle (poole) topresultaterne fra mange systemer, og teknologistøttet gennemgang i e-discovery estimerer genkaldelse ved stikprøver blandt de dokumenter, der ikke blev markeret. I retrieval-augmented generation sætter retrieverens recall@k - om den nødvendige passage er blandt de k øverste chunks - loftet for svarkvaliteten, fordi generatoren ikke kan bruge evidens, den aldrig fik. Opsummeringsmål som ROUGE er også genkaldelsesorienterede og tæller, hvor meget af referencen der dækkes.

Små antal positive giver brede estimater. Eksemplet med 40 opdagede ud af 50 testangreb giver 80 %, men et Wilson-konfidensinterval på 95 % går fra cirka 67 % til 89 %, så en ny kørsel med andre angreb kunne sagtens lande ti point ved siden af. Resultater fra red teaming eller penetrationstest, der bruges som estimat for genkaldelse, bør derfor rapporteres med antallet af forsøg og helst opdelt efter teknik, fordi en detektors genkaldelse sjældent er ens på tværs af angrebstyper.