AI red teaming vs. Penetrationstest

Hvorfor de er forskellige

En pentest leder efter veje ind til systemer og data; AI red teaming jagter også skadelige, falske eller regelbrydende svar fra selve modellen.

AI red teaming

AI-risiko og governance

Testere angriber med vilje et AI-system før og efter lancering for at finde måder, det kan narres til skadelig eller usikker adfærd.

Formelt

En struktureret, godkendt øvelse, hvor personer, ofte hjulpet af automatiske værktøjer, optræder som angribere mod en AI-model eller et AI-produkt for at finde skadeligt output, prompt injection, regelbrud, datalæk og andre fejl og rapportere dem, så de kan rettes.

Forklaret enkelt

Som at hyre snedige ballademagere til at bruge en uge på at få en ny ekspedient til at bryde alle regler, så du opdager hullerne i oplæringen, før rigtige kunder gør.

I praksis

Før en kommune åbner en chatassistent for borgerne, bruger et team to uger på at få den til at afsløre andre borgeres sagsoplysninger, give forkerte råd om ydelser eller ignorere sine regler, og hvert trick, de finder, bliver lukket.

Hvorfor det betyder noget

AI-systemer fejler på måder, almindelige funktionstest aldrig afprøver, og EU's AI-forordning kræver den slags angrebstest af de største AI-modeller til almen brug, hvis fejl kan skade hele samfundet.

Penetrationstest

Kontroller og tekniske grundbegreber

Et aftalt, simuleret hackerangreb, hvor dygtige testere forsøger at bryde ind for at vise, hvor godt systemerne reelt holder.

Formelt

En godkendt test, begrænset i omfang og tid, hvor personer bruger de samme metoder som rigtige angribere til at finde og faktisk udnytte svagheder og kæde dem sammen for at vise, hvad en angriber kunne nå.

Forklaret enkelt

Som at hyre en professionel indbrudstyv til at prøve at bryde ind i din butik, med din tilladelse, og bagefter skrive præcis ned, hvordan det lykkedes.

I praksis

Testere hyret af en region finder en glemt testhjemmeside, bruger en svag adgangskode der til at komme ind på netværket og viser inden for to dage IT-sikkerhedschefen, at de kan læse økonomimappen.

Hvorfor det betyder noget

Lister over svagheder viser ikke, hvordan de spiller sammen; at se en reel vej udefra til værdifulde data overbeviser ledelsen og viser, hvad der skal rettes først.