Modelevaluering (evals)

Modelevaluering består af flere lag, der besvarer forskellige spørgsmål. Offline-evaluering scorer en fastfrosset model på tilbageholdte testsæt og offentlige benchmarks; menneskelig evaluering lader eksperter eller brugere bedømme output, hvor intet automatisk mål er gyldigt; LLM som dommer automatiserer en del af den bedømmelse; adversarial test og AI red teaming leder efter fejl, som et gennemsnitsmål aldrig rammer; og online-evaluering (A/B-test, skyggedrift, overvågning i produktion) måler adfærden på den reelle inputfordeling. For LLM-applikationer er en eval-suite typisk kode: et versioneret datasæt af input, en eller flere bedømmere (eksakt match, regex- eller skematjek, kørsel af genereret kode, embedding-lighed, modelbedømte guider) og en harness, der kører i CI, så en ændring af prompt, retrieval eller model ikke kan udrulles, hvis den giver tilbagegang.

De fleste fejl i evaluering handler om validitet, ikke regnestykker. Begrebsvaliditet spørger, om målet måler den egenskab, der betyder noget; ekstern validitet spørger, om testfordelingen svarer til driften, hvilket brister ved datadrift, eller når et demosæt er håndplukket. Samlede scorer skjuler fejl i undergrupper, så resultater bør opdeles efter sprog, kundesegment, dokumenttype eller beskyttede karakteristika. Scorer har stikprøveusikkerhed og bør rapporteres med bootstrap- eller binomiale konfidensintervaller. Generative modeller er ikke-deterministiske, så hvert testtilfælde bør køres flere gange; pass@k (mindst ét af k forsøg lykkes) og pass^k (alle k lykkes, som i τ-bench) besvarer vidt forskellige spørgsmål om pålidelighed.

Governance-rammer behandler evaluering som en pligt gennem hele livscyklussen. NIST AI RMF 1.0 (NIST AI 100-1, 2023) placerer test, evaluering, verifikation og validering (TEVV) under funktionen Measure, og NIST AI 600-1 udvider det til generativ AI. ISO/IEC TS 4213:2022 beskriver, hvordan klassifikationsydelse vurderes. EU's AI-forordning kræver, at højrisikosystemer testes mod på forhånd fastlagte målinger og sandsynlighedsbaserede tærskler, før de bringes i omsætning (art. 9, stk. 8), at de opnår et passende niveau af nøjagtighed, robusthed og cybersikkerhed med målene angivet i brugsanvisningen (art. 15), og at de følges op af overvågning efter omsætning (art. 72); udbydere af AI-modeller til almen brug med systemisk risiko skal udføre modelevalueringer inklusive adversarial test (art. 55, stk. 1, litra a). AI-omnibussen, forordning (EU) 2026/1744, der trådte i kraft den 27. juli 2026, udskød højrisikoforpligtelserne i bilag III til 2. december 2027 og forpligtelserne for højrisiko-AI i produkter under bilag I til 2. august 2028.

Evaluering skal holdes adskilt fra træning: hvis testresultater styrer gentagne ændringer, bliver testsættet i praksis et valideringssæt, og dets score bliver for optimistisk. God praksis fryser derfor et testsplit, logger hver evalueringskørsel med model-, prompt- og dataversion og fornyer evalueringsdata, når de er blevet set for mange gange. Tal på tværs af organisationer kan kun sammenlignes, når harness, prompts og dekodningsindstillinger er identiske.