Modelkort (model card)

Mitchell et al. foreslog modelkort på FAT* 2019 med ni afsnit: modeldetaljer (udvikler, dato, version, type, licens, citation), tilsigtet brug (primære anvendelser og brugere, brug uden for rammerne), faktorer (de grupper, måleinstrumenter og miljøer, hvor ydeevnen kan variere), metrikker (og hvorfor de er valgt, herunder beslutningstærskler og estimering af usikkerhed), evalueringsdata, træningsdata, kvantitative analyser, etiske overvejelser samt forbehold og anbefalinger. Den centrale tekniske idé er disaggregeret evaluering: at rapportere metrikker for hver relevant faktor og deres kombinationer (fx hudtype × køn i deres eksempel med ansigtsanalyse), fordi én samlet nøjagtighed skjuler de undergrupper, hvor modellen fejler. Datasheets for Datasets (Gebru et al., 2018) er den tilsvarende praksis for data.

På Hugging Face er modelkortet repositoriets README.md: en YAML-header med metadata (licens, sprog, bibliotek, pipeline-tag, datasæt, base_model og en model-index-blok med strukturerede evalueringsresultater) efterfulgt af fri tekst i Markdown. Feltet base_model gør det muligt for hubben at vise slægtskabet mellem finjusteringer, adaptere og kvantiseringer, hvilket er nyttigt ved gennemgang af forsyningskæden. De store AI-laboratorier udgiver desuden system cards, der beskriver et system i drift - modellen plus sikkerhedsforanstaltninger, politikker og resultater af red teaming og evaluering af farlige kapabiliteter - og ikke kun modelvægtene.

Regulering har gjort dele af kortet til pligter uden at foreskrive formatet. For AI-modeller til almen brug kræver AI-forordningens art. 53, stk. 1, litra b, og bilag XII oplysninger til efterfølgende udbydere, herunder tilsigtede opgaver og politik for acceptabel brug, arkitektur og antal parametre, input- og outputmodaliteter og -formater, licens og oplysninger om træningsdata; bilag XI opregner den fyldigere tekniske dokumentation til myndighederne. Adfærdskodeksen for AI-modeller til almen brug (2025) indeholder en Model Documentation Form, der dækker disse punkter. For højrisikosystemer dækker brugsanvisningen efter art. 13 og den tekniske dokumentation efter art. 11 (bilag IV) tilsvarende forhold på systemniveau. NIST AI RMF's MAP- og MEASURE-funktioner forventer lignende dokumentation af kontekst, begrænsninger og testresultater.

Typiske svagheder: kort, der skrives én gang ved udgivelsen og aldrig opdateres for nye versioner; benchmark-resultater, der er selvrapporterede, målt under ukendte indstillinger eller pustet op af, at testdata er sluppet ind i træningen; manglende disaggregerede resultater, ofte fordi der ikke findes demografiske labels; vage afsnit om brug uden for rammerne; og tavshed om træningsdata, ofte af juridiske grunde. En idriftsætter bør derfor behandle et modelkort som en leverandørpåstand, der skal efterprøves, køre evalueringerne igen på egne data og sprog - ydeevnen på dansk er fx ofte svagere, end de engelske overskriftstal antyder - og notere resultatet i sin egen dokumentation.