Lineær regression

Lineær regression modellerer en numerisk målvariabel som y = w0 + w1 x1 + ... + wp xp. Mindste kvadraters metode (OLS) vælger de koefficienter, der minimerer summen af de kvadrerede residualer ||Xw - y||^2. Metoden går tilbage til Legendre (1805) og Gauss (1809). Minimum har en lukket løsning, normalligningerne w = (X^T X)^-1 X^T y, som i praksis løses med en QR- eller singulærværdidekomposition frem for en eksplicit invers; omkostningen vokser nogenlunde med antallet af eksempler gange kvadratet på antallet af features. Ved meget store datamængder kan den samme kvadrerede fejl i stedet minimeres med gradientnedstigning.

Hver koefficient er den forventede ændring i forudsigelsen, når den pågældende feature stiger med én enhed, og de andre holdes fast, og derfor værdsættes lineære modeller for deres fortolkelighed. Den læsning holder ikke ved multikollinearitet: Når features er stærkt korrelerede, er X^T X tæt på singulær, og koefficienterne bliver ustabile og kan skifte fortegn fra stikprøve til stikprøve. Under de klassiske antagelser (lineær sammenhæng, uafhængige fejl med konstant varians) er OLS den bedste lineære middelrette estimator, og med normalfordelte fejl er den også maksimum likelihood-estimatet.

Regulariserede varianter lægger en straf til tabsfunktionen. Ridge-regression tilføjer en L2-straf alpha ||w||^2, der skrumper koefficienterne og klarer korrelerede features bedre; lasso tilføjer en L1-straf, der sætter nogle koefficienter præcis til nul og dermed udvælger features; elastic net kombinerer de to. Ikke-lineære sammenhænge kan stadig fanges af en lineær model, hvis features først transformeres, fx med polynomielle led eller splines, fordi modellen kun skal være lineær i sine vægte.

Kvadreret fejl er følsom over for outliers, fordi ét fjerntliggende punkt kan trække hele linjen. Robuste alternativer som Huber-, RANSAC- og Theil-Sen-regression mindsker den indflydelse, og kvantilregression forudsiger en valgt kvantil i stedet for middelværdien.