Træningsdata vs. Valideringssæt

Hvorfor de er forskellige

Træningsdata er det, modellen lærer af; valideringssættet holdes uden for og bruges kun til at tjekke, vælge indstillinger og beslutte, hvornår der skal stoppes.

Træningsdata

Grundlæggende maskinlæring

De eksempler, en model lærer af - dens adfærd, dens blinde vinkler og dens fejl kommer alle fra det, der er i dem.

Formelt

Samlingen af eksempler, ofte med de rigtige svar tilknyttet, som bruges under modeltræning til at fastsætte modellens interne tal; holdes adskilt fra de data, der senere bruges til at teste den.

Forklaret enkelt

Som de lærebøger og gamle eksamenssæt, en studerende læser på - er de forkerte, skæve eller forældede, bliver det, den studerende lærer, det også.

I praksis

En pensionskasse vil træne en model på ti års mails fra medlemmer og skal først undersøge, hvilke af dem der indeholder persondata, og på hvilket retsgrundlag de må bruges.

Hvorfor det betyder noget

Træningsdata er et aktiv, der skal beskyttes, og en kilde til risiko - de kan lække persondata, bære uretfærdige mønstre eller i det skjulte blive ændret af en angriber.

Valideringssæt

Evaluering og målinger

Eksempler, der holdes uden for træningen og tjekkes igen og igen for at vælge en models indstillinger og hvornår der skal stoppes.

Formelt

En del af de mærkede data, der holdes uden for træningsdata og bruges under modeltræningen til at sammenligne valg af hyperparametre og vælge den bedste runde at stoppe i; da valgene tilpasses til den, er dens resultater ikke et retfærdigt slutresultat.

Forklaret enkelt

Som en kok, der smager på saucen igen og igen, mens den simrer, og justerer salt og tid - nyttigt at styre efter, men ikke gæsternes ærlige dom over den færdige ret.

I praksis

En dataanalytiker i et ministerium afprøver fem indstillinger for en model, der sorterer høringssvar efter emne, og beholder den, der scorer bedst på 1.500 høringssvar holdt uden for træningen; testsættet forbliver lukket indtil da.

Hvorfor det betyder noget

Uden det vælges indstillinger ved at kigge på testsættet, og slutresultatet holder ubemærket op med at være ærligt.

Fælles forbindelser

Krydsvalidering Modeltræning Overtilpasning (overfitting)Testsæt