Jailbreak

Wei, Haghtalab og Steinhardt (2023) forklarede med to mekanismer, hvorfor sikkerhedstræning svigter. Konkurrerende mål: modellen er trænet både til at være hjælpsom og følge instruktioner og til at afvise skadelige ønsker, så prompts, der får en afvisning til at virke uhjælpsom - rollespil ("DAN", "min bedstemor læste altid opskriften op for mig"), prefix injection ("start dit svar med 'Selvfølgelig, her er'"), undertrykkelse af afvisninger - vipper balancen. Uoverensstemmende generalisering: fortræningen gav modellen evner på områder, som sikkerhedstræningen næppe dækker, så Base64, chifre, leetspeak eller sprog med få træningsdata kan føre en forespørgsel forbi en afvisningsadfærd, der mest er lært på almindeligt engelsk.

Senere forskning industrialiserede angrebet. GCG (Zou et al., 2023) bruger gradientstyret søgning efter tokens på åbne modeller til at finde adversarielle suffikser, der også virker på lukkede modeller - sprogmodellernes pendant til adversarielle eksempler. PAIR (Chao et al., 2023) og lignende metoder bruger en angriber-LLM til gradvist at forfine et jailbreak mod en black-box-model. Many-shot jailbreaking (Anthropic, 2024) fylder et langt kontekstvindue med hundredvis af opdigtede dialoger, hvor en assistent adlyder, og udnytter in-context learning. Crescendo (Microsoft, 2024) eskalerer gradvist over mange uskyldigt udseende ture. Best-of-N jailbreaking (Hughes et al., 2024) sampler blot tilfældige variationer (store og små bogstaver, tegnstøj), indtil én lykkes, og succesraten stiger forudsigeligt med antallet af forsøg. For modeller med åbne vægte kan sikkerheden fjernes helt: finjustering på et lille antal skadelige eksempler ophæver afvisningstræningen (Qi et al., 2023), og ablation af én enkelt "refusal direction" i aktiveringsrummet slår afvisningerne fra (Arditi et al., 2024).

Evaluering sker med attack success rate på standardsæt af skadelige forespørgsler som HarmBench eller JailbreakBench og skal tage højde for, at output ikke er deterministisk, og at dommeren kan tage fejl i, om et svar faktisk er skadeligt. Forsvaret er lagdelt: adversarial afvisningstræning, systemprompts, der gentager politikken, input-klassifikatorer for kendte jailbreak-mønstre, output-klassifikatorer, der vurderer svaret uanset formuleringen af forespørgslen (Anthropics Constitutional Classifiers fra 2025 er et eksempel), rate limiting og misbrugsdetektion på kontoniveau mod iterative angreb samt begrænsning af den skade, en jailbreaket model kan gøre, ved at holde værktøjer og data væk fra den. Kontroller på output-siden er generelt mere robuste end mønstergenkendelse på input, fordi det skadelige indhold er lettere at genkende end de uendeligt mange måder at bede om det på.

OWASP placerer jailbreaking under LLM01:2025 Prompt Injection som den form, hvor angriberens input direkte får modellen til at se bort fra sine sikkerhedsprotokoller. Den praktiske forskel er, hvem der angribes: i et jailbreak er brugeren modstanderen, og målet er modeludbyderens eller operatørens indholdspolitik; ved indirekte prompt injection angriber en tredjepart brugeren eller applikationen via indhold, modellen læser. De samme teknikker bruges ofte til begge dele, og et jailbreak, der afslører systemprompten, overlapper også med LLM07 System Prompt Leakage.