Krydsvalidering

Ved k-fold-krydsvalidering deles træningssættet, som scikit-learn beskriver det, i k mindre sæt; for hvert fold trænes en model på de øvrige k minus 1 fold og valideres på det resterende, og den rapporterede score er gennemsnittet over fold, ofte med standardafvigelse. Idéen går tilbage til Stone (1974), Cross-validatory choice and assessment of statistical predictions. Kohavi (1995) sammenlignede krydsvalidering og bootstrap i over en halv million kørsler og konkluderede, at ti-fold stratificeret krydsvalidering var den bedste metode til modelvalg på datasæt fra virkeligheden som hans, selv når regnekraften tillader flere fold; scikit-learn bemærker ligeledes, at 5 eller 10 fold generelt foretrækkes frem for leave-one-out, der bruger n fold med ét eksempel hver og giver et estimat med høj varians til en stor beregningsmæssig pris.

Varianter håndterer struktur i data. Stratificeret k-fold holder hvert folds klassefordeling tæt på hele sættets, hvilket betyder noget ved skæve klassefordelinger. Group k-fold holder alle eksempler fra én gruppe (en patient, en kunde, et dokument) i samme fold, så modellen aldrig testes på en gruppe, den er trænet på. Til tidsserier bruger TimeSeriesSplit voksende vinduer, hvor hvert testfold ligger efter sine træningsdata, fordi en blanding ville lade modellen se ind i fremtiden. Repeated k-fold gentager hele proceduren med forskellige tilfældige opdelinger for at mindske estimatets varians.

Krydsvalidering er først og fremmest et værktøj til modelvalg og tuning af hyperparametre (scikit-learns GridSearchCV og RandomizedSearchCV kører det internt). Bruges den samme krydsvaliderede score både til at vælge den bedste konfiguration og til at rapportere ydelsen, er estimatet for optimistisk; nested krydsvalidering tilføjer en ydre løkke til ærlig estimation, eller der holdes et separat, urørt testsæt til det endelige tal.

Lækage er den hyppigste fejl. scikit-learn understreger, at forbehandling som standardisering eller feature-udvælgelse kun må læres fra træningsfoldene og derefter anvendes på det udeladte fold, hvilket en Pipeline gør automatisk; udvælges features på hele datasættet før krydsvalideringen, kan man få imponerende resultater på ren støj. For store deep learning-modeller er fuld k-fold-træning som regel for dyr, så her er ét fast valideringssæt normen.