Feature engineering

Typiske trin i feature engineering er kodning af kategoriske variable (one-hot, ordinal eller target encoding for kolonner med mange kategorier), skalering af numeriske kolonner (standardisering, min-max-skalering), ikke-lineære transformationer (log, Box-Cox, Yeo-Johnson, kvantiler), opdeling i intervaller, polynomielle led og vekselvirkningsled, opsplitning af dato og tid (ugedag, time, helligdagsflag), aggregeringer over tidsvinduer eller grupper (antal, summer, glidende gennemsnit pr. kunde) og tekstrepræsentationer som bag-of-words eller TF-IDF. scikit-learns preprocessing-modul og ColumnTransformer dækker de fleste af dem.

Den største faldgrube er lækage. Enhver transformation, der lærer statistik fra data (en skalers middelværdi, en target encoders kategorigennemsnit, en imputers median), skal tilpasses på træningsdata alene og derefter anvendes uændret på validerings-, test- og produktionsdata; scikit-learn anbefaler at pakke forbehandling og model ind i en Pipeline, så krydsvalidering tilpasser transformationerne på ny inden for hvert fold. Aggregerede features må kun beregnes ud fra oplysninger, der er tilgængelige på forudsigelsestidspunktet, og den samme kode skal køre ved træning og i drift for at undgå training-serving skew, som Googles vejledning om produktions-ML nævner som et centralt overvågningspunkt. Feature stores findes i høj grad for at dele én definition mellem de to spor.

Domingos (2012) opsummerede den erfaringsbaserede tommelfingerregel, at de anvendte features ofte er den vigtigste faktor for, om et projekt lykkes. Deep learning flyttede meget af dette arbejde ind i modellen: foldningsnetværk og transformere lærer repræsentationer direkte fra pixels eller tokens, hvilket er kernen i representation learning (Goodfellow m.fl., kap. 15). På tabeldata er gradient boosting-træer på håndlavede features dog stadig meget konkurrencedygtige, og selv dybe pipelines afhænger af konstruktionsvalg som tokenisering, normalisering og datarensning.