Bias-varians-afvejning

For kvadreret fejl kan den forventede fejl for en lært prædiktor i et punkt x, taget som gennemsnit over træningssæt trukket fra samme fordeling, opdeles præcist i bias i anden (hvor langt den gennemsnitlige forudsigelse ligger fra den sande funktion), varians (hvor meget de enkelte forudsigelser spreder sig omkring gennemsnittet) og målvariablens irreducible støjvarians. Geman, Bienenstock og Doursat (1992) bragte denne dekomposition ind i forskningen i neurale netværk som bias/varians-dilemmaet: En fleksibel, ikke-parametrisk estimator har lav bias, men kræver meget store stikprøver for at holde variansen nede, mens en begrænset estimator har lav varians, men kan tage systematisk fejl. For andre tabsfunktioner, fx 0-1-tab ved klassifikation, findes der ingen enkel additiv dekomposition, men flere konkurrerende definitioner.

I klassisk praksis styres afvejningen gennem modelkapaciteten: polynomiets grad, træets dybde, antallet af naboer i k-nærmeste-nabo eller styrken af en regulariseringsstraf. Tegner man testfejlen som funktion af kapaciteten, får man lærebogens U-formede kurve med undertilpasning til venstre, overtilpasning til højre og den bedste model i bunden, som findes med et valideringssæt eller krydsvalidering. Ensembler virker direkte på variansleddet: Bagging og random forests tager gennemsnittet af mange træer med høj varians, mens boosting primært mindsker bias ved at tilføje svage modeller efter hinanden.

Belkin, Hsu, Ma og Mandal (2019) viste, at U-kurven kun er første del af et længere forløb, som de kaldte double descent. Testfejlen topper nær interpolationstærsklen, hvor modellen netop har kapacitet nok til at passe træningsdata præcist, og falder derefter igen, når kapaciteten fortsat vokser, ofte til under det klassiske minimum. Effekten ses for random feature-modeller, ensembler af beslutningstræer og neurale netværk og er med til at forklare, hvorfor stærkt overparametriserede dybe netværk med nul træningsfejl alligevel kan generalisere. Selve dekompositionen gælder stadig; det, der ændrer sig, er antagelsen om, at variansen altid stiger med antallet af parametre, fordi implicit regularisering fra træningsproceduren (fx at stokastisk gradientnedstigning finder løsninger med mindst norm) holder variansen nede.