Zero-shot prompting

I GPT-3-artiklen (Brown m.fl., 2020) betød zero-shot, at en fortrænet model kun fik en opgavebeskrivelse i naturligt sprog og selve inputtet uden eksempler og uden vægtopdateringer, og det var den svageste af de tre opsætninger: Rå fortrænede modeller fortsatte ofte teksten på uventede måder i stedet for at løse opgaven, fordi intet i fortræningen lærte dem at behandle en instruktion som noget, der skal udføres. Tidligere og uafhængigt heraf betød "zero-shot learning" i maskinlæring at klassificere i kategorier, der aldrig var set under træningen, typisk via fælles attributter eller tekst-embeddings, som i CLIP's zero-shot-billedklassifikation; promptbetydningen låner navnet, men ikke metoden.

Det, der gjorde zero-shot prompting praktisk, var instruktionstilpasning. FLAN (Wei m.fl., 2021) finjusterede en fortrænet model med 137 milliarder parametre på over 60 NLP-datasæt omformuleret som instruktioner i naturligt sprog og fandt, at den slog zero-shot GPT-3 175B på 20 af 25 tilbageholdte datasæt; T0 (Sanh m.fl., 2021) rapporterede lignende resultater med multitask-træning på prompts, og InstructGPT (Ouyang m.fl., 2022) tilføjede forstærkningslæring fra menneskelig feedback. Tilbageholdte opgaveklynger var afgørende for evalueringen, for en opgave, der er set under instruktionstilpasningen, er ikke reelt zero-shot. Alle moderne chatmodeller stammer fra denne linje, så daglig brug af assistenter er overvejende zero-shot.

Zero-shot-ydeevnen afhænger meget af, hvor fuldstændigt instruktionen beskriver opgaven. Modellen skal udlede etiketsæt, outputformat, detaljeniveau og håndtering af grænsetilfælde ud fra ordene alene, så tvetydige instruktioner giver uensartet output på tværs af kørsler og input. Eksplicitte outputskemaer eller struktureret output, definitioner af hver kategori, en angivet håndtering af "ingen af delene" og en rolle i systemprompten lukker meget af afstanden til few-shot. Kojima m.fl. (2022) viste, at zero-shot-ræsonnement også forbedres markant med en udløser som "Let's think step by step" (zero-shot chain-of-thought), og ræsonnementsmodeller gør det overflødigt, fordi de ræsonnerer som standard.

Valget mellem zero-shot og few-shot er et empirisk spørgsmål. Zero-shot er billigere pr. kald, undgår at lække eksempeldata til prompts og logs og undgår, at modellen forankres i særheder ved bestemte eksempler. Few-shot vinder typisk, når det ønskede format er usædvanligt, etiketgrænserne er subtile, eller output skal ramme en bestemt husstil. En sund arbejdsgang starter med zero-shot, bygger et lille mærket evalueringssæt, måler og tilføjer kun eksempler, hvor målingerne viser en gevinst. Benchmarkresultater angivet som zero-shot bør læses med kontaminering for øje: Hvis testsættet fandtes i fortræningsdataene, løser modellen ikke opgaven ud fra instruktionen alene.