Guardrails (sikkerhedsværn)

Arkitektonisk er guardrails håndhævelsespunkter for politik i requestflowet i en LLM-applikation, på linje med en WAF eller en DLP-gateway. NVIDIAs NeMo Guardrails gør trinene eksplicitte: input-rails på brugerens besked, retrieval-rails på RAG-bidder, før de kommer ind i konteksten, dialog-rails, der styrer samtalens forløb (defineret i sproget Colang), execution-rails rundt om værktøjskald og output-rails på det genererede svar. Hvert trin kan afvise, omskrive, maskere, stille et opklarende spørgsmål eller eskalere til et menneske. Det er kontrollen af hentet indhold og værktøjsresultater - ikke kun af brugerens besked - der gør guardrails relevante over for indirekte prompt injection.

Implementeringerne falder i tre klasser. Deterministiske kontroller: regulære udtryk og validatorer for kortnumre (med Luhn-tjek), CPR-numre, formater for API-nøgler, allow-lists for URL'er og domæner, længdegrænser og JSON Schema-validering af struktureret output. Klassifikatormodeller: særligt trænede sikkerhedsklassifikatorer som Metas Llama Guard-familie (en LLM finjusteret til at mærke prompts og svar efter en skadestaksonomi, fra Llama Guard 3 tilpasset MLCommons' taksonomi), detektorer for prompt injection som Prompt Shields i Azure AI Content Safety og PII-detektorer baseret på named-entity recognition. LLM-as-judge: en anden model, der med en politik i prompten bedømmer svaret. Constrained decoding - generering styret af en grammatik eller et skema - er en beslægtet teknik, der forhindrer ugyldigt output allerede under genereringen i stedet for at filtrere det bagefter.

Ethvert guardrail er en klassifikator med en rate for falske positiver og en for falske negativer, og begge tæller: overblokering driver brugerne over i ustyrede værktøjer, underblokering lukker angreb igennem. Guardrails bør evalueres på mærkede testsæt, også med flersprogede og kodede varianter, og tærsklerne bør tilpasses den enkelte use case. Kendte svagheder er obfuskering (Base64, homoglyffer, en payload delt over flere ture), sprog med få træningsdata, som klassifikatoren ikke er trænet på, at klassifikatoren selv kan rammes af prompt injection, når den er en LLM, og streaming, hvor tokens når brugeren, før en output-kontrol har set hele svaret; modtrækket er kontrol i bidder med mulighed for at trække svaret tilbage eller buffering af højrisikosvar. Hvert ekstra modelkald giver også mere latens og flere omkostninger.

Guardrails supplerer alignment frem for at erstatte det: alignment ændrer, hvad modellen er tilbøjelig til at producere, guardrails begrænser, hvad applikationen tager imod og sender ud, og de kan opdateres på timer uden gentræning. Ingen af dem erstatter mindst mulige rettigheder til værktøjer, for et filter kan omgås, men en rettighed, agenten ikke har, kan ikke misbruges. OWASP's LLM Top 10 anbefaler filtrering af input og output som et lag mod LLM01 Prompt Injection, LLM02 Sensitive Information Disclosure og LLM05 Improper Output Handling, og NIST AI 600-1 behandler indholdsfiltrering som én af flere risikostyringshandlinger for generativ AI.