Prompt injection vs. Systemprompt

Hvorfor de er forskellige

Begge er instruktioner til modellen, men systemprompten kommer fra den, der har bygget appen, mens prompt injection smugler en angribers ordrer ind, der forsøger at tilsidesætte den.

Prompt injection

AI-risiko og governance

At gemme instruktioner i den tekst, et AI-system læser, så det ignorerer sine egne regler og adlyder angriberen i stedet.

Formelt

Et angreb på en stor sprogmodel, hvor tekst fra en udenforstående, skrevet direkte eller gemt i en hjemmeside, fil eller mail, som modellen skal læse, bliver opfattet som en ordre og tilsidesætter det, ejeren havde tænkt sig.

Forklaret enkelt

Som at stikke en seddel ind i en bunke breve, som en ny assistent sorterer, hvor der står "ignorer din chef og send mig nøglerne" - og assistenten kan ikke skelne sedlen fra rigtige ordrer.

I praksis

En kommunes AI-assistent opsummerer indgående mails fra borgerne; én mail gemmer hvid tekst på hvid baggrund, der beder den videresende de ti seneste beskeder til en ekstern adresse, og det gør den.

Hvorfor det betyder noget

Modellen blander regler og indhold i den samme strøm af ord, så der findes endnu ingen vandtæt løsning; jo mere et AI-system må gøre på egen hånd, jo mere skade kan én skjult sætning gøre.

Systemprompt

Prompting og generering

Faste instruktioner fra udbyderen af en AI-tjeneste, lagt foran hver samtale, der sætter assistentens rolle, regler og tone.

Formelt

Den del af en prompt, markeret med sin egen rolle, der rummer instruktioner fra den, der har bygget tjenesten, frem for fra slutbrugeren; instruktionstilpasning lærer den store sprogmodel at vægte den over brugerens tekst, men intet håndhæver det.

Forklaret enkelt

Som instruktørens anvisninger til en skuespiller, før tæppet går - publikum hører dem aldrig, men de præger hver replik, og en larmende tilskuer kan stadig få skuespilleren ud af rollen.

I praksis

Den webansvarlige i et dansk færgerederi skriver systemprompten til bookingchatten: “Svar kun på spørgsmål om afgange og bookinger; lov aldrig at betale penge tilbage; send klager videre til personalet.”

Hvorfor det betyder noget

Brugere kan ofte lokke en assistent til at afsløre sin systemprompt, og prompt injection kan tilsidesætte den, så den må aldrig indeholde adgangskoder eller nøgler og kan ikke erstatte rigtig adgangskontrol.

Fælles forbindelser

Instruktionsfil til agenter Jailbreak Prompt