Sampling (udtrækning af tokens)

I hvert afkodningstrin giver modellen en vektor af logits over ordforrådet. En afkodningsstrategi gør vektoren til ét valgt token, typisk gennem en kæde af logit-processorer: Straffe og bias anvendes, temperaturen omskalerer logits, afskæringsregler som top-k, top-p eller min-p fjerner usandsynlige kandidater, resten normaliseres igen med en softmax, og ét token trækkes med en pseudotilfældig generator. Deterministiske strategier springer trækningen over. Det valgte token føjes til, dets key- og value-vektorer lægges i KV-cachen, og løkken gentages indtil et slut-token, en stopsekvens eller grænsen for output-tokens.

Strategierne udgør en familie. Grådig afkodning vælger altid argmax. Beam search holder de k mest sandsynlige delsekvenser og var standard i maskinoversættelse, men for åben generering viste Holtzman m.fl. (2020), at maksimering af sandsynligheden giver flad, gentagende og degenereret tekst, fordi menneskelig tekst ikke er den mest sandsynlige tekst. Ren sampling fra hele fordelingen har det modsatte problem: Den lange hale af enkeltvis usandsynlige tokens rammes samlet set ofte, og ét dårligt token afsporer resten. Afskæringsmetoder løser det: Top-k (brugt af Fan m.fl., 2018) beholder et fast antal kandidater, nucleus- eller top-p-sampling beholder den mindste mængde, hvis samlede sandsynlighed når p, og min-p (Nguyen m.fl., 2024) beholder tokens, hvis sandsynlighed er mindst en vis andel af det mest sandsynlige tokens. Frequency- og presence-straffe modvirker gentagelser, logit bias tvinger eller forbyder bestemte tokens, og begrænset afkodning maskerer tokens, der ville bryde en grammatik eller et JSON Schema.

Reproducerbarheden er svagere, end indstillingerne antyder. Temperatur 0 eller grådig afkodning fjerner den tilsigtede tilfældighed, men hostet inferens kan stadig give forskelligt output på samme kald. Addition af flydende kommatal er ikke associativ, og GPU-kerner vælger forskellig rækkefølge for summeringer afhængigt af batchstørrelse og andre belastningsafhængige forhold, så logits kan afvige i de sidste bits mellem kørsler og vende et næsten-uafgjort valg. Thinking Machines Lab (2025) viste, at batch-invariante kerner gør gentagne kørsler bit-identiske på bekostning af gennemløb. Nogle API'er tilbyder en seed-parameter, men udbyderne beskriver den som best effort; routing i mixture of experts og spekulativ afkodning giver yderligere variation.

Praktisk vejledning: Brug grådig afkodning eller lav temperatur til udtræk, klassifikation og kode, hvor der findes ét korrekt svar; moderat temperatur med top-p omkring 0,9 til 0,95 til prosa; flere træk plus afstemning eller verifikation (self-consistency, best-of-n med en bedømmer), når præcision betyder mere end pris. Ændr én parameter ad gangen, evaluer over flere træk pr. testtilfælde, og gem afkodningsparametre sammen med prompts, så resultater kan genskabes, så vidt platformen tillader det.