Prompt

Det, brugeren skriver, er sjældent det, modellen modtager. Chat-API'er tager imod en struktureret liste af beskeder med roller - system (eller developer), user, assistant og tool - plus værktøjsdefinitioner og parametre. Serveringslaget omsætter listen via modellens chatskabelon til én flad tokensekvens, indsætter særlige skilletokens omkring hver tur (markører i ChatML-stil som im_start og im_end eller modelspecifikke modstykker) og tilføjer starten på en assistent-tur, så forudsigelsen af næste token fortsætter som assistenten. Værktøjsskemaer, hentede dokumenter, billeder, dagens dato og sikkerhedsinstruktioner fra platformen ender alle i den samme sekvens. En forkert skabelon til en open-weight-model er en almindelig årsag til forringet eller underligt output.

Rollemarkører er lærte konventioner, ikke adgangskontrol. Instruktions- og præferencetræning lærer modellen at vægte systemtekst højere og behandle værktøjsoutput som data, og OpenAI's arbejde med et instruktionshierarki (Wallace m.fl., 2024) træner det eksplicit, men ved inferens er alt tokens, der giver attention til tokens. Det er den strukturelle årsag til, at prompt injection findes: En instruktion gemt i et indsat dokument, en mail eller en webside behandles af samme mekanisme som en legitim instruktion. Greshake m.fl. (2023) kaldte tilfældet, hvor angriberen aldrig taler direkte med modellen, indirekte prompt injection; OWASP har prompt injection som LLM01 i sin Top 10 for LLM-applikationer fra 2025.

Promptens opbygning påvirker pris og ventetid. Input-tokens faktureres pr. kald, så et langt statisk præfiks (systemprompt, værktøjsdefinitioner, referencedokumenter) betales igen ved hvert kald, medmindre udbyderens prompt caching genbruger den forudberegnede KV-tilstand for et identisk præfiks; caching virker kun, hvis det stabile indhold kommer først og det variable sidst. Mange assistenter understøtter også, at man udfylder starten af assistentens svar (prefill) for at tvinge et format, og stopsekvenser, der afslutter genereringen. Prompten plus det maksimale ønskede output skal kunne være i kontekstvinduet.

Databeskyttelsesmæssigt er prompten selve datastrømmen. Alt i den sendes til den, der driver modellen, kan logges til misbrugsovervågning eller fejlsøgning i en periode fastsat i udbyderens vilkår og kan optræde i udbyderens telemetri. Indeholder prompten personoplysninger, er udbyderen typisk databehandler efter databeskyttelsesforordningens art. 28, hvilket kræver en databehandleraftale, og indstillinger for opbevaring, brug til træning og region skal efterprøves, ikke forudsættes. Logning af prompts i egen applikation er nyttig til revision og hændelseshåndtering, men skaber et nyt lager af følsom tekst med behov for sin egen adgangsstyring.