Regression

Navnet stammer fra Francis Galtons iagttagelse af, at børn af usædvanligt høje forældre som regel er tættere på gennemsnitshøjden, offentliggjort i 1886 som "Regression towards mediocrity in hereditary stature" (regression mod middelmådigheden). Arbejdshesten er lineær regression tilpasset med mindste kvadraters metode (OLS): Summen af kvadrerede residualer minimeres, hvilket for en designmatrix X og en målvektor y har den lukkede løsning β = (XᵀX)⁻¹Xᵀy, normalligningerne. Under Gauss-Markov-antagelserne (en model, der er lineær i parametrene, fejl med middelværdi nul givet input, ukorrelerede fejl med konstant varians, ingen perfekt multikollinearitet) er OLS den bedste lineære middelret estimator. I praksis løses den med QR- eller SVD-dekomposition frem for en eksplicit matrixinvers af hensyn til den numeriske stabilitet.

Regulariserede varianter bytter lidt bias for lavere varians: Ridge-regression (Hoerl og Kennard, 1970) tilføjer en L2-straf, lasso (Tibshirani, 1996) en L1-straf, der sætter nogle koefficienter præcis til nul, og elastic net kombinerer begge. Ikke-lineær regression håndteres med transformationer af features, splines, generaliserede additive modeller, træensembler som gradient boosting eller neurale netværk med en lineær outputenhed. Poisson- og andre generaliserede lineære modeller passer til optællinger og rater; tidsserieprognoser tilføjer tidsstruktur (autoregression, sæsonmønstre) og skal valideres på strengt senere perioder.

Tabsfunktionen udtrykker, hvad en fejl koster. Mean squared error rammer den betingede middelværdi og domineres af afvigere; mean absolute error rammer den betingede median og er mere robust; Huber-tab er kvadratisk nær nul og lineært i halerne. De rapporterede mål omfatter RMSE og MAE i målvariablens egen enhed, MAPE (udefineret, når den sande værdi er nul, og asymmetrisk i sine straffe) og R², den forklarede andel af variansen, som kan blive negativ på testdata, når en model klarer sig dårligere end blot at gætte på gennemsnittet.

En punktprognose er ufuldstændig uden usikkerhed. Kvantilregression med pinball-tab forudsiger valgte kvantiler, fx 10.- og 90.-percentilen, direkte; conformal prediction kan lægges om enhver model og giver intervaller med dækningsgarantier for endelige stikprøver under udskiftelighed. Almindelige fejl er heteroskedasticitet (fejl, der vokser med niveauet, så intervaller med fast bredde bliver forkerte), ekstrapolation ud over det interval, træningen dækkede, hvor træmodeller flader ud og lineære modeller fortsætter i lige linjer i det uendelige, og forveksling af korrelation i koefficienterne med kausal effekt.

To navnefælder: Logistisk regression er en klassifikationsmetode, og "regression" i softwaretest betyder, at en funktion, der tidligere virkede, går i stykker, hvilket er noget helt andet. Regression adskiller sig desuden kun fra klassifikation ved outputtypen; ordinale mål som vurderinger fra 1 til 5 ligger midt imellem og kan modelleres på begge måder.