Regularisering

Eksplicitte strafmetoder lægger et led til træningsmålet. L2-regularisering lægger lambda gange summen af de kvadrerede vægte til; i lineær regression er det ridge-regression (Hoerl og Kennard, 1970), et specialtilfælde af Tikhonov-regularisering, som skrumper alle koefficienter jævnt mod nul. L1-regularisering lægger lambda gange summen af de absolutte vægte til; i lineær regression er det lasso (Tibshirani, 1996), som sætter nogle koefficienter til præcis nul og dermed udvælger features. Elastic net blander de to. I scikit-learn er styrken argumentet alpha i Ridge og Lasso, og den vælges normalt ved krydsvalidering (RidgeCV, LassoCV). Set bayesiansk svarer L2 til en normalfordelt prior på vægtene og L1 til en Laplace-prior, så den straffede løsning er et maksimum a posteriori-estimat.

Weight decay ganger vægtene med en faktor lidt under et ved hver opdatering. For almindelig stokastisk gradientnedstigning svarer det til en L2-straf, men Loshchilov og Hutter (2019) viste, at det ikke gælder for adaptive optimeringsalgoritmer som Adam, hvor L2-gradienten skaleres om for hver parameter. Deres afkoblede variant, AdamW, trækker vægtene direkte ned og er i dag standardvalget til træning af transformere; PyTorch udstiller den som torch.optim.AdamW med argumentet weight_decay.

Deep learning tilføjer implicitte og strukturelle regularisatorer. Dropout (Srivastava m.fl., 2014) sætter tilfældigt enheder til nul under træningen, hvilket tilnærmer et gennemsnit over et ensemble af udtyndede netværk; ved test bruges alle enheder med omskalerede aktiveringer. Early stopping standser træningen, når valideringstabet holder op med at falde, og virker for kvadratiske tabsfunktioner meget som en L2-straf. Dataaugmentering, label smoothing, støj fra batchnormalisering, delte parametre i foldningsnetværk og stokastisk gradientnedstignings implicitte tilbøjelighed til flade løsninger eller løsninger med lav norm regulariserer også. Styrken af enhver regularisator er selv en hyperparameter og flytter modellen langs bias-varians-afvejningen: For lidt efterlader overtilpasning, for meget giver undertilpasning.