Adversarielt eksempel

Adversarielle eksempler blev beskrevet af Szegedy et al. i "Intriguing properties of neural networks" (2013), som viste, at umærkelige forstyrrelser kunne vende en ImageNet-klassifikators svar, og at de samme manipulerede billeder ofte også narrede andre netværk trænet på andre data. Goodfellow, Shlens og Szegedy (2014) argumenterede for, at årsagen ikke er overfitting, men at højdimensionelle modeller opfører sig for lineært: en lille ændring i hver eneste inputdimension summerer til en stor ændring i logit-værdien. Deres Fast Gradient Sign Method beregner x' = x + ε · sign(∇x J(θ, x, y)) i ét enkelt backward pass, hvor J er træningstabet, og ε begrænser forstyrrelsens L∞-norm.

De fleste angreb formuleres som et optimeringsproblem med en begrænsning: find δ med ‖δ‖p ≤ ε, der maksimerer tabet (utargeteret) eller minimerer tabet for en valgt klasse (targeteret). Projected Gradient Descent (Madry et al., 2017) gentager FGSM-lignende skridt og projicerer tilbage på ε-kuglen; Carlini og Wagner (2017) optimerer en marginbaseret målfunktion under L2 eller L0. Trusselsmodellen er afgørende: en white-box-angriber har adgang til gradienter, mens en black-box-angriber enten sender forespørgsler til modellen (score- eller beslutningsbaserede angreb) eller laver eksemplerne på en lokal surrogatmodel og udnytter transferability. Typiske forskningsbudgetter som ε = 8/255 under L∞ på CIFAR-10 måler robusthed mod lille pixelstøj, ikke mod enhver ændring, en reel angriber kan finde på.

Angreb i den fysiske verden viser, at problemet overlever print og kamera: klistermærker på stopskilte (Eykholt et al., 2018) og en 3D-printet skildpadde, der blev klassificeret som et gevær (Athalye et al., 2018, med Expectation over Transformation). I sikkerhedsprodukter er begrænsningen funktionel frem for visuel - malware skal stadig kunne køre, så angriberen ændrer padding, tilføjede bytes, ubrugte sektioner eller imports. For sprogmodeller er det tilsvarende et adversarielt suffiks af tokens som i GCG-angrebet på alignede LLM'er, hvilket forbinder begrebet med jailbreaks.

NIST AI 100-2 klassificerer adversarielle eksempler som evasion-angreb i driftsfasen, i modsætning til forgiftning (træningsfasen) og privatlivsangreb. Forsvarene har en dårlig historik: mange publicerede forsvar byggede på gradient masking og blev brudt af adaptive angreb (Athalye, Carlini og Wagner, 2018, "Obfuscated Gradients"). Adversarial training med PGD er stadig det stærkeste empiriske forsvar, men koster flere gange den normale træningsberegning og sænker som regel nøjagtigheden på rene data; randomized smoothing (Cohen et al., 2019) giver kun certificerede L2-garantier for små radier. Påstande om robusthed bør derfor angives som en trusselsmodel plus et angrebsbudget og evalueres med adaptive angreb, med offentlige benchmarks som RobustBench som pejlemærke.