Logistisk regression

Trods navnet er logistisk regression en klassifikator. For to klasser modellerer den p(y = 1 | x) = sigma(w0 + w^T x), hvor sigma(z) = 1 / (1 + e^-z) er den logistiske (sigmoide) funktion. Tilsvarende er log-odds log(p / (1 - p)) en lineær funktion af features, så hver koefficient er ændringen i log-odds pr. enhed af sin feature, og e^w er en oddsratio. Beslutningsgrænsen p = 0,5 er et hyperplan, så modellen er lineær i feature-rummet; ikke-lineære grænser kræver transformerede eller konstruerede features.

Vægtene tilpasses med maksimum likelihood, hvilket svarer til at minimere log-loss (binær krydsentropi) -[y log p + (1 - y) log(1 - p)]. I modsætning til mindste kvadraters metode findes der ingen lukket løsning, men tabsfunktionen er konveks, så iterative løsere som Newton-metoder (iterativt vægtede mindste kvadrater), L-BFGS eller stokastisk gradientnedstigning når det globale optimum. Hvis klasserne kan adskilles perfekt, vokser de uregulariserede vægte uden grænse, hvilket er én grund til, at biblioteker regulariserer som standard: scikit-learns LogisticRegression bruger en L2-straf, hvis styrke styres af C (standard 1,0), og understøtter også L1 og elastic net.

Ved mere end to klasser giver den multinomiale (softmax) form hver klasse sin egen vægtvektor og normaliserer scorerne til en sandsynlighedsfordeling; en one-vs-rest-opbygning med separate binære modeller er det ældre alternativ. Et neuralt netværk med ét lag og sigmoid- eller softmax-output, trænet på krydsentropi, er præcis logistisk regression, og derfor bruges den ofte som broen fra klassisk statistik til deep learning.

Modellens sandsynligheder er som regel rimeligt godt kalibrerede, hvilket betyder noget ved kreditvurdering og kliniske risikoscorer, men den kræver stadig en valgt tærskel for at gøre en sandsynlighed til en beslutning, og den rigtige tærskel afhænger af, hvad falske positiver koster i forhold til falske negativer. Metoden blev udviklet i statistikken, bl.a. af Cox (1958), længe før maskinlæring tog den til sig.