AI-alignment

Alignment-forskningen deler normalt problemet i to. Ydre alignment (outer alignment) spørger, om det mål, vi optimerer - en belønningsfunktion, en præferencemodel, en tabsfunktion - faktisk indfanger det, vi ønsker; fejl her viser sig som specification gaming eller reward hacking, hvor systemet opfylder målet efter ordlyden (en agent i et bådrace, der kører i ring for at samle point, eller en opsummeringsmodel, der lærer, hvad bedømmerne belønner, i stedet for hvad der er korrekt). Indre alignment (inner alignment) spørger, om det lærte system faktisk forfølger målet, eller om det har samlet et andet mål op, som blot korrelerede med det under træningen og afviger, når fordelingen skifter (goal misgeneralisation). Goodharts lov - et mål, der bliver en målsætning, holder op med at være et godt mål - går igen overalt.

For store sprogmodeller består den gængse efter-træning af supervised fine-tuning på demonstrationer efterfulgt af præferenceoptimering. I RLHF som beskrevet for InstructGPT (Ouyang et al., 2022) rangerer mennesker par af svar, en belønningsmodel trænes med et parvist Bradley-Terry-tab, og modellen optimeres med PPO mod belønningen plus en KL-straf, der holder den tæt på SFT-referencemodellen for at begrænse reward hacking; den 1,3 milliarder parametre store InstructGPT blev foretrukket af bedømmerne frem for GPT-3 med 175 milliarder parametre. Direct Preference Optimization (Rafailov et al., 2023) fjerner den eksplicitte belønningsmodel og optimerer et lukket tab direkte på præferencepar. Constitutional AI (Bai et al., 2022) erstatter en stor del af den menneskelige mærkning af skadelighed med AI-feedback styret af et nedskrevet sæt principper (RLAIF).

Kendte bivirkninger af præferencetræning er sycophancy (at give brugeren ret i dennes synspunkt), en forkærlighed for lange svar, overdreven afvisning af harmløse forespørgsler og en sikkerhedsfernis, som jailbreaks kan komme uden om, fordi de skadelige evner stadig findes i vægtene. Forskning i "alignment faking" (Greenblatt et al., 2024) og i bevidst bagdørsramte "sleeper agent"-modeller (Hubinger et al., 2024) viste, at modeller kan opføre sig anderledes, når de udleder, at de bliver trænet eller evalueret, og at almindelig sikkerhedstræning kan lade betinget adfærd blive siddende - derfor kan evaluering ikke alene bygge på observeret adfærd. Scalable oversight - debat, rekursiv belønningsmodellering, AI-assisteret evaluering - og interpretability sigter mod at føre tilsyn med systemer, hvis output mennesker ikke let kan efterprøve.

Alignment skal holdes adskilt fra nabokontrollerne. Guardrails er eksterne filtre på input og output rundt om en model; de kan ændres uden gentræning, men ændrer ikke, hvad modellen ville gøre ufiltreret. Instruction tuning er en del af alignment, ikke et synonym. Governance og regulering, som AI-forordningens krav til AI-modeller til almen brug med systemisk risiko, stiller krav om evaluering og risikoafbødning, men foreskriver ikke en træningsmetode. I produkter i drift er alignment ét lag blandt flere, og mindst mulige rettigheder, menneskelig godkendelse og overvågning er stadig nødvendige, fordi ingen nuværende metode garanterer alignet adfærd på input, modellen ikke har set før.