Klassifikation

Varianterne adskiller sig ved outputstrukturen. Binær klassifikation vælger én af to klasser; multiklasse vælger præcis én af K; multilabel tildeler en vilkårlig delmængde af mærkater (en mail kan både være "faktura" og "haster"). Hierarkisk klassifikation respekterer en taksonomi, og ekstrem klassifikation håndterer titusindvis af mærkater eller flere. De fleste moderne klassifikatorer giver en scorevektor: en logistisk sigmoid i det binære tilfælde, en softmax, der normaliserer K logits til en sandsynlighedsfordeling, ved multiklasse og uafhængige sigmoider ved multilabel. Træningen minimerer krydsentropi (log loss) mellem den forudsagte fordeling og den sande mærkat.

Modelfamilierne spænder fra logistisk regression, naiv Bayes, k-nærmeste naboer, support vector machines og beslutningstræer til ensembler som random forests og gradient-boostede træer (XGBoost, LightGBM), der er stærke standardvalg til tabeldata, og neurale netværk til billeder, lyd og tekst. En sejlivet navnefælde er, at logistisk regression er en klassifikationsmetode trods navnet: Den laver regression på log-odds og anvender derefter en tærskel.

Beslutningstærsklen er et politisk valg, ikke en egenskab ved modellen. Standardværdien 0,5 på en binær score er vilkårlig; flytter man den, bytter man falske positiver mod falske negativer langs ROC-kurven, og det rigtige punkt afhænger af de relative omkostninger og basisraten. Evalueringen bruger derfor forvekslingsmatricen og afledte mål som præcision, recall, F1 og ROC-AUC, mens precision-recall-kurver foretrækkes ved kraftig klasseubalance. Ved ubalance kan en svindelmodel, der altid siger "legitim", nå 99,9 procent nøjagtighed og fange ingenting. Modtræk er klassevægtning, resampling, omkostningsfølsomt tab og valg af tærskel på et valideringssæt ud fra en forretningsmæssig omkostningsmatrix.

Scorer er ikke automatisk sandsynligheder. Moderne neurale netværk er ofte overdrevent selvsikre (Guo m.fl., 2017), og kalibreringsmetoder som Platt scaling, isotonisk regression eller temperature scaling tilpasses på tilbageholdte data, så "0,8" betyder rigtigt i omkring 80 procent af tilfældene; reliability-diagrammer og expected calibration error måler dette. Kalibrering er vigtig, når scorer styrer videresendelse, fx når usikre sager sendes til et menneske.

En klassifikator med lukket klassemængde har ingen "ingen af delene"-mulighed og vil med stor sikkerhed placere et input uden for træningsfordelingen i en kendt klasse. Open-set-genkendelse og out-of-distribution-detektion tilføjer en afvisningsmulighed, og selektiv klassifikation undlader at svare under et vist sikkerhedsniveau. Adversarial examples udnytter samme geometri ved at skubbe input over en beslutningsgrænse med små ændringer. Klassifikation i maskinlæring har heller intet med dataklassifikation i informationssikkerhed at gøre, hvor information mærkes efter fortrolighedsniveau.