Decoder

I den oprindelige transformer (Vaswani m.fl., 2017) havde hver decoderblok tre dellag: maskeret multi-head self-attention over de tokens, der er genereret indtil nu, cross-attention, hvor queries kommer fra decoderen og keys og values fra encoderens output, og et positionsvist feed-forward-netværk, hvert omgivet af en residualforbindelse og lagnormalisering. En ren decoder-model, som GPT (Radford m.fl., 2018, en stak på 12 lag med omkring 117 millioner parametre) gjorde udbredt, dropper blot cross-attention-dellaget; prompten og fortsættelsen ligger i én sekvens og behandles af den samme kausale stak.

Den kausale maske er det, der gør stakken autoregressiv: Attention-scorer for positioner j > i sættes til −∞ før softmax, så repræsentationen på position i kun afhænger af token 1…i. Det giver effektiv træning med teacher forcing, hvor alle positioner i en træningssekvens forudsiges parallelt, og tabet er den summerede krydsentropi for hvert næste token. Ved inferens giver modellen en sandsynlighedsfordeling over ordforrådet for næste position, en afkodningsregel vælger et token (greedy argmax, beam search eller sampling med temperatur, top-k eller top-p/nucleus sampling), tokenet føjes til, og trinnet gentages, indtil der kommer et slut-token eller en længdegrænse.

Inferens har derfor to faser med forskellige flaskehalse. Prefill behandler hele prompten i ét parallelt gennemløb og er compute-bound; den bestemmer i høj grad time to first token. Decode genererer ét token pr. forward-gennemløb og er begrænset af hukommelsesbåndbredden, fordi alle vægte og den voksende KV-cache skal læses for hvert token; den samlede ventetid er groft sagt time to first token plus outputlængden gange tiden pr. output-token. Det er grunden til, at udbydere som regel tager mere for output-tokens end for input-tokens. Speculative decoding (Leviathan m.fl.; Chen m.fl., 2023) lader en lille udkastmodel foreslå flere tokens, som den store model efterprøver i ét gennemløb, med en acceptregel, der bevarer den store models outputfordeling.

Rene decoder-designs dominerer blandt store sprogmodeller, fordi ét enkelt træningsmål, forudsigelse af næste token på rå tekst, skalerer godt, og én arkitektur dækker både forståelse og generering. Encoder-decoder-modeller som T5 og BART er stadig udbredte, hvor input og output er klart adskilte, fx oversættelse, talegenkendelse (Whisper) og en del opsummering. Bemærk, at "decoder" også bruges om noget andet i autoencodere og i latent diffusion, hvor den oversætter en latent kode tilbage til pixels; den decoder er ikke autoregressiv.