Dataskred (data drift)

Overbegrebet i litteraturen er dataset shift (Quiñonero-Candela m.fl., red., Dataset Shift in Machine Learning, MIT Press, 2009): Den fælles fordeling P(X, Y) i drift er en anden end under træningen. Det opdeles normalt i covariate shift, hvor P(X) ændrer sig, men P(Y | X) er den samme (et nyt kundesegment kommer til); prior- eller label shift, hvor P(Y) ændrer sig (svindel bliver hyppigere); og concept drift (begrebsskred), hvor P(Y | X) selv ændrer sig, så de samme input nu kræver andre svar (hvad der tæller som spam, udvikler sig). Googles ML-ordliste definerer concept drift som et skift i forholdet mellem features og labelen, der over tid sænker modellens kvalitet. Gama m.fl. (2014) inddeler skred efter tidsforløb i pludseligt, gradvist, trinvist og tilbagevendende (sæsonbestemt) og skelner mellem reelt skred, der flytter beslutningsgrænsen, og virtuelt skred, der kun ændrer inputfordelingen.

Opdagelse sker ved at sammenligne data i drift med et referencevindue, typisk trænings- eller valideringsdata. Almindelige tjek er statistiske test pr. feature (Kolmogorov-Smirnov for numeriske features, chi-i-anden for kategoriske), afstandsmål som population stability index, Jensen-Shannon- eller Wasserstein-afstand, ændringer i fordelingen af modellens output og, hvor labels kommer sent, det faktiske fald i nøjagtighed eller stigning i fejl. Detektorer fra stream learning som DDM og ADWIN følger fejlraten og giver signal, når den ændrer sig markant. Test af mange features hver for sig giver mange falske alarmer, så tærskler justeres eller korrigeres for multiple sammenligninger.

Dataskred er beslægtet med, men forskelligt fra training-serving skew, hvor selve pipelinen producerer forskellige features ved træning og i drift; Googles vejledning om produktions-ML behandler begge som overvågningspunkter og anbefaler at bruge de samme statistiske tjek på trænings- og driftsdata. Modtræk er planlagt eller udløst gentræning på nye data, højere vægt på nye eksempler, online læring og menneskelig vurdering af, om ændringen er reel eller en datakvalitetsfejl som et ødelagt felt længere oppe i kæden.

For generative modeller og sprogmodeller viser samme idé sig som viden, der forælder: Verden bevæger sig forbi vidensgrænsen, brugeradfærd ændrer sig, og prompts glider mod opgaver, der ikke var med i træningen.