Struktureret output

Der findes tre garantiniveauer, og de forveksles ofte. Formatering alene via prompten beder om JSON i instruktionerne, måske med et eksempel, og giver ingen garanti; output kan indeholde prosa omkring JSON'en, overskydende kommaer eller manglende felter. JSON-tilstand, som OpenAI introducerede i november 2023, og som andre udbydere tilbyder i lignende form, garanterer syntaktisk gyldig JSON, men ikke nogen bestemt form. Skemabegrænset output garanterer, at resultatet validerer mod et givet JSON Schema. OpenAI lancerede det som Structured Outputs den 6. august 2024, både som svarformat og som strict: true på funktionsdefinitioner, og rapporterede 100 % overholdelse af skemaet i sin interne evaluering for gpt-4o-2024-08-06 mod under 40 % for gpt-4-0613 med prompting alene; Anthropic introducerede JSON-output og strict tool use i offentlig beta i november 2025.

Garantien kommer fra begrænset afkodning. Skemaet kompileres til en grammatik eller en endelig tilstandsmaskine, og i hvert trin maskerer sampleren logits for alle tokens, der ikke kan føre til en gyldig fortsættelse, så kun grammatisk tilladte tokens kan vælges. Da tokens ikke flugter med JSON-syntaksen (ét token kan indeholde et anførselstegn, et kolon og en del af en nøgle), skal kompilatoren på forhånd beregne, hvilke poster i ordforrådet der er tilladt i hver tilstand; biblioteker som Outlines, llama.cpp's GBNF-grammatikker og XGrammar gør det for open-weight-modeller, og hostede API'er cacher typisk det kompilerede skema, så det første kald med et nyt skema kan være langsommere. Udbyderne understøtter kun en delmængde af JSON Schema i strict-tilstand - ofte skal alle egenskaber angives som required, ekstra egenskaber er ikke tilladt, og rekursion samt nøgleord som pattern og format er begrænsede.

Begrænsningerne garanterer form, ikke indhold. Modellen vælger stadig værdierne, så et enum-felt kan få den forkerte kategori, et datofelt en troværdig, men forkert dato, og et tekstfelt vilkårlig tekst, herunder indsatte instruktioner eller markup. At tvinge et format kan også koste kvalitet: Tam m.fl. (2024, "Let Me Speak Freely?") rapporterede, at stramme formatkrav forringede ræsonnementet på nogle opgaver. Gængse modtræk er at have et fritekstfelt til ræsonnement før svarfelterne, at holde skemaer flade og beskrivende (feltnavne og beskrivelser fungerer som instruktioner) og at modellere "ukendt" eller "ikke fundet" eksplicit, så modellen ikke tvinges til at opfinde en værdi. Sikkerhedsbetingede afvisninger kan blive returneret i et separat felt frem for inde i skemaet.

Kode længere nede i kæden skal stadig behandle modeloutput som upålideligt input. OWASP's LLM Top 10 fra 2025 har Improper Output Handling som LLM05: Værdier fra et velformet objekt kan stadig give SQL-injection, cross-site scripting, path traversal eller utilsigtede værktøjshandlinger, hvis de sendes videre uden validering. Struktureret output gør semantisk validering lettere - tjek intervaller, sammenhæng mellem felter og forretningsregler på typede felter - men erstatter den ikke.