Modelevaluering (evals) vs. Modeltræning

Hvorfor de er forskellige

Træning ændrer modellen, så den passer til sine eksempler; evaluering måler kun den færdige model og må ikke ukontrolleret føres tilbage i den.

Modelevaluering (evals)

Evaluering og målinger

Praksis med at kontrollere, hvor godt et AI-system løser sin opgave - med tal, offentlige tests, menneskelig gennemgang og bevidste angreb.

Formelt

Den planlagte måling af en model eller et AI-system op imod mål for kvalitet, sikkerhed og retfærdighed, som kombinerer tal som nøjagtighed og F1-score, benchmarkresultater, menneskelig gennemgang, LLM som dommer og AI red teaming.

Forklaret enkelt

Som en bils prøvekørsler før salg - fartløb på banen, kollisionsforsøg, førernes meninger og folk, der gør alt for at få den til at svigte.

I praksis

Før lejerchatten flyttes til en nyere stor sprogmodel, kører et boligselskabs IT-ansvarlige 500 gemte spørgsmål fra lejere igen, lader medarbejdere bedømme et udvalg af svarene og skifter kun, hvis intet bliver dårligere.

Hvorfor det betyder noget

Uden faste kontroller ved ingen, om en ændring gjorde systemet bedre, dårligere eller usikkert, og EU's AI-forordning kræver dokumenteret test af systemer, der bruges til fx ansættelse, kreditvurdering eller afgørelser om sociale ydelser.

Modeltræning

Grundlæggende maskinlæring

Den dyre, engangsfase, hvor en model ser træningsdata igen og igen og justerer sine interne tal, indtil dens gæt bliver bedre.

Formelt

Processen, hvor man gentagne gange fodrer en model med træningsdata, måler hvor langt dens resultater er fra de ønskede svar og justerer dens vægte for at mindske afstanden; resultatet er et fast sæt lærte tal.

Forklaret enkelt

Som en dartspiller, der kaster tusindvis af pile, ser hvor langt hver lander fra midten og justerer armen en smule hver gang.

I praksis

Et dansk universitet bruger uger på et nationalt regnecenter på at træne en dansk sprogmodel én gang; kommuner og virksomheder, der tager den i brug, bruger derefter kun det færdige resultat.

Hvorfor det betyder noget

Det, der sker her, afgør, hvad modellen ved, og hvordan den opfører sig; det er også her, forgiftede eller ulovlige data bliver bygget ind for altid.

Fælles forbindelser

Maskinlæring Testsæt