Evaluering og målinger
Eksempler, der låses væk, mens en model bygges, og åbnes én gang til sidst for at give et ærligt slutresultat.
Formelt
En del af de mærkede data, der ikke spiller nogen rolle i modeltræningen eller i valget af indstillinger, og som først bruges, når alle valg er låst, til at vurdere, hvor godt modellen vil klare sig i virkeligheden.
Forklaret enkelt
Som den forseglede kuvert med eksamensspørgsmål, der ligger i rektors pengeskab til eksamensdagen, så ingen kan have øvet sig på dem.
I praksis
Efter ugers justering af en model, der forudsiger, hvilke patienter der udebliver fra deres aftaler på hospitalet, kører en dataanalytiker i en region den én gang på 5.000 tilbageholdte aftaler, rapporterer tallet til ledelsen og justerer ikke modellen igen.
Hvorfor det betyder noget
Hvis eksemplerne siver ind i træningsdata, eller testsættet tjekkes igen og igen, får modellen et for flot resultat, og et svagt system kan blive taget i brug over for rigtige mennesker.