Falsk positiv

Formelt er en falsk positiv FP-cellen i forvekslingsmatricen: en detektor forudsiger den positive klasse (ondsindet, sårbar, spam) for et tilfælde, der i virkeligheden er negativt. Tre afledte rater forveksles ofte. Falsk positiv-raten, FP / (FP + TN), er andelen af godartede hændelser, der udløser en alarm. Præcision, TP / (TP + FP), er andelen af alarmer, der er ægte. False discovery rate, 1 − præcision, er det, analytikerne faktisk oplever som støj. En detektor kan have en fremragende falsk positiv-rate og alligevel elendig præcision, og i statistik svarer en falsk positiv til en type I-fejl.

Årsagen er basisraten. Antag, at én hændelse ud af 100.000 er ondsindet, og at en detektor fanger 99 % af de ondsindede hændelser, mens den fejlagtigt markerer kun 1 % af de godartede. Ud af en million hændelser er omkring 10 ondsindede, og cirka 10 af alarmerne er ægte, men omkring 10.000 godartede hændelser markeres, så færre end én alarm ud af tusind er reel. Axelssons artikel fra 2000 om base rate-fejlslutningen i intrusion detection fremførte argumentet formelt, og det forklarer, hvorfor sikkerhedsteams vurderer detektioner på præcision og alarmmængde pr. dag, ikke på nøjagtighed.

I SOC-praksis er det nyttigt at skelne mellem en falsk positiv (reglen ramte noget, den ikke skulle ramme, en fejl i logik eller data) og en godartet sand positiv (reglen ramte præcis den tilsigtede adfærd, men i dette tilfælde var den godkendt, fx en administrator, der bruger PsExec, eller en planlagt sårbarhedsscanning). Afhjælpningen er forskellig: den første kræver, at reglen eller dens parsing rettes, den anden snævert afgrænsede undtagelser eller berigelse med kontekst. Justering er altid en afvejning mod falske negativer, de oversete angreb, og brede undtagelser (en hel mappe, en signeret binærfil, en servicekonto) skaber blinde vinkler, som angribere kan udnytte, især med living off the land-teknikker, der bevidst ligner almindelig administration.

Falske positiver er ikke kun et effektivitetsproblem. Vedvarende støj giver alarmtræthed og en normalisering af afvigelser; analyser af Target-bruddet i 2013 beskrev, at der var udløst malware-alarmer, som ikke blev fulgt op. I forebyggende kontroller gør en falsk positiv direkte skade: i april 2010 udpegede en McAfee-signaturopdatering (DAT 5958) Windows-filen svchost.exe som malware på maskiner med Windows XP SP3, så mange gik i genstartsløkker. Samme begreb findes i hele sikkerhedsværktøjskassen: fund fra statisk kodeanalyse, der ikke kan udnyttes, spamfiltre, der sætter legitim post i karantæne, og DLP-regler, der blokerer almindelige forretningsoverførsler. At måle andelen af falske positiver pr. regel over tid er det grundlæggende input til detection engineering.