Testsæt vs. Valideringssæt

Hvorfor de er forskellige

Valideringssættet tjekkes mange gange for at styre valg under opbygningen; testsættet åbnes én gang, når alle valg er truffet.

Testsæt

Evaluering og målinger

Eksempler, der låses væk, mens en model bygges, og åbnes én gang til sidst for at give et ærligt slutresultat.

Formelt

En del af de mærkede data, der ikke spiller nogen rolle i modeltræningen eller i valget af indstillinger, og som først bruges, når alle valg er låst, til at vurdere, hvor godt modellen vil klare sig i virkeligheden.

Forklaret enkelt

Som den forseglede kuvert med eksamensspørgsmål, der ligger i rektors pengeskab til eksamensdagen, så ingen kan have øvet sig på dem.

I praksis

Efter ugers justering af en model, der forudsiger, hvilke patienter der udebliver fra deres aftaler på hospitalet, kører en dataanalytiker i en region den én gang på 5.000 tilbageholdte aftaler, rapporterer tallet til ledelsen og justerer ikke modellen igen.

Hvorfor det betyder noget

Hvis eksemplerne siver ind i træningsdata, eller testsættet tjekkes igen og igen, får modellen et for flot resultat, og et svagt system kan blive taget i brug over for rigtige mennesker.

Valideringssæt

Evaluering og målinger

Eksempler, der holdes uden for træningen og tjekkes igen og igen for at vælge en models indstillinger og hvornår der skal stoppes.

Formelt

En del af de mærkede data, der holdes uden for træningsdata og bruges under modeltræningen til at sammenligne valg af hyperparametre og vælge den bedste runde at stoppe i; da valgene tilpasses til den, er dens resultater ikke et retfærdigt slutresultat.

Forklaret enkelt

Som en kok, der smager på saucen igen og igen, mens den simrer, og justerer salt og tid - nyttigt at styre efter, men ikke gæsternes ærlige dom over den færdige ret.

I praksis

En dataanalytiker i et ministerium afprøver fem indstillinger for en model, der sorterer høringssvar efter emne, og beholder den, der scorer bedst på 1.500 høringssvar holdt uden for træningen; testsættet forbliver lukket indtil da.

Hvorfor det betyder noget

Uden det vælges indstillinger ved at kigge på testsættet, og slutresultatet holder ubemærket op med at være ærligt.

Fælles forbindelser

Modeltræning Træningsdata