Finjustering (fine-tuning)

Finjustering fortsætter gradientnedstigningen fra fortrænede vægte i stedet for fra en tilfældig initialisering, som regel med en meget mindre læringsrate og et meget mindre datasæt end under fortræningen. For sprogmodeller er den mest almindelige form supervised fine-tuning (SFT): Modellen trænes med det almindelige cross-entropy-tab for næste token på par af prompt og svar, typisk med tabet maskeret, så kun svarets tokens tæller. Præferencebaserede trin som RLHF eller Direct Preference Optimization (Rafailov m.fl., 2023) er også finjustering i bred forstand; instruktionstilpasning er SFT på et stort og varieret sæt instruktioner, og det er den, der gør en rå fortrænet model til en assistent.

Fuld finjustering opdaterer alle vægte og kræver optimeringstilstand for dem alle, hvilket for en stor model betyder flere gange så meget hukommelse som vægtene alene. Parameter-effektiv finjustering (PEFT) undgår det. LoRA (Hu m.fl., 2021) fryser den oprindelige vægtmatrix W og lærer en lav-rang-opdatering BA, hvor B og A har en lille indre rang r (ofte 8 til 64), og opdateringen skaleres med alpha divideret med r; for GPT-3 175B rapporterede forfatterne omkring 10.000 gange færre trænbare parametre. QLoRA (Dettmers m.fl., 2023) kombinerer LoRA med en 4-bit-kvantiseret basismodel og gjorde det muligt at finjustere en model med 65 milliarder parametre på ét GPU med 48 GB. Adaptere kan flettes ind i vægtene ved drift eller holdes adskilt og skiftes pr. kunde.

Finjustering er god til at ændre adfærd - format, tone, fagsprog, klassifikationsetiketter, konventioner for værktøjskald - og forholdsvis dårlig til pålideligt at tilføje nye fakta, derfor lyder det gængse råd: RAG til viden og finjustering til form. Typiske fejl er overfitting til et lille datasæt, katastrofal glemsel af generelle evner og udhuling af sikkerhedstræningen: Qi m.fl. (2023) viste, at finjustering af en alignet model på blot ti ondsindede eksempler via et kommercielt finjusterings-API stort set fjernede dens afvisninger, og at selv harmløse datasæt svækkede sikkerheden noget. Evalueringen bør derfor omfatte regressions- og sikkerhedstests, ikke kun målopgaven.

To governance-pointer følger. Træningsdata optages i vægtene og kan delvist trækkes ud igen med memoriseringsangreb, og der findes ingen pålidelig måde at slette én persons data fra en trænet model, så at efterleve retten til sletning i databeskyttelsesforordningens art. 17 betyder i praksis gentræning eller at lade være med at træne på personoplysninger fra starten. Efter AI-forordningen betragter Kommissionens retningslinjer for AI-modeller til almen brug fra juli 2025 som vejledende tærskel kun en downstream-modificerende aktør som udbyder af en ny model, hvis ændringen bruger mere end en tredjedel af den oprindelige models træningsberegning, så almindelig finjustering hos en idriftsætter udløser normalt ikke udbyderforpligtelserne for GPAI-modeller, selvom andre roller i AI-forordningen stadig kan være relevante.