Selvsuperviseret læring

Tilgangen definerer en hjælpeopgave (pretext task), hvis mål kan beregnes ud fra det rå input, træner et netværk på den med et almindeligt superviseret tab og genbruger derefter de lærte repræsentationer til efterfølgende opgaver. To familier dominerer. Generative eller prædiktive mål rekonstruerer skjulte dele af inputtet: Kausal sprogmodellering forudsiger det næste token ud fra de foregående (GPT-linjen), maskeret sprogmodellering forudsiger skjulte tokens ud fra begge sider, og maskerede autoencodere til billeder (He m.fl., 2021) skjuler en stor andel af billedfelterne, typisk 75 procent, og rekonstruerer pixelværdierne. Kontrastive og joint-embedding-mål lærer i stedet at placere forskellige udgaver af samme element tæt sammen og forskellige elementer langt fra hinanden: SimCLR (2020) kontrasterer to augmenterede udsnit af et billede, og CLIP (2021) afstemmer billeder med deres billedtekster med et kontrastivt tab over store batches.

BERT (Devlin m.fl., 2019) viser detaljerne. Modellen udvælger 15 procent af input-tokens til forudsigelse; af dem erstattes 80 procent af et [MASK]-token, 10 procent af et tilfældigt token, og 10 procent forbliver uændrede, så modellen ikke kan regne med at se [MASK] under finjustering. Tale fungerer på samme måde: wav2vec 2.0 (Baevski m.fl., 2020) maskerer afsnit af latente talefeatures og løser en kontrastiv opgave over kvantiserede mål og viste, at finjustering på helt ned til ti minutters transskriberet lyd efter fortræning på 53.000 timers umærket tale kunne give brugbare talegenkendere, hvilket er mønstret bag sprog med få ressourcer og domænespecifik diktering.

En kendt fejltype for joint-embedding-metoder er repræsentationskollaps, hvor netværket afbilder alle input til samme vektor og dermed trivielt opfylder målet. Negative par (kontrastive metoder), asymmetriske arkitekturer med stop-gradient (BYOL, SimSiam) eller eksplicit variansregularisering (VICReg) forhindrer det. Valget af augmentering indebærer også antagelser: Beskæring og farvevariation lærer modellen at være ufølsom over for netop de ændringer, hvilket er skadeligt, hvis farve betyder noget i den efterfølgende opgave.

Begrebet er omstridt. Nogle forfattere, herunder Yann LeCun, der gjorde udtrykket udbredt, skelner skarpt mellem det og ikke-superviseret læring; ældre litteratur placerer de samme metoder under ikke-superviseret læring. Den praktiske forskel er, at selvsuperviserede metoder har et eksplicit forudsigelsesmål og et tab i superviseret stil.

Skala er både konsekvensen og risikoen. Fordi der ikke kræves menneskelig mærkning, kan fortræningskorpora omfatte billioner af tokens webtekst, hvilket gør foundation models mulige, men også betyder, at giftigt indhold, personoplysninger, ophavsretligt beskyttet materiale og bevidst forgiftede sider havner i modellen, medmindre de filtreres fra. Den fortrænede model efterfølges normalt af superviseret finjustering og præferencetræning før udrulning.