Temperatur

Temperaturen T dividerer logits før softmax: p_i = exp(z_i / T) / Σ_j exp(z_j / T). Ved T = 1 er modellens fordeling uændret. Når T går mod 0, skærpes fordelingen og nærmer sig en one-hot-vektor på argmax, så sampling konvergerer mod grådig afkodning; implementeringer behandler T = 0 som grådig afkodning i stedet for at dividere med nul. Når T vokser, flades fordelingen ud mod det ensartede, og sandsynlighedsmassen i den lange hale af usandsynlige tokens stiger. Navnet kommer fra Boltzmann-fordelingen i statistisk mekanik, og samme knap findes andre steder i maskinlæring, fx i knowledge distillation (Hinton m.fl., 2015), hvor en hævet temperatur blødgør en lærermodels output.

Temperaturen ændrer de relative sandsynligheder uden at ændre rækkefølgen: Det mest sandsynlige token forbliver det mest sandsynlige ved enhver T > 0. Den spiller sammen med afskæring. I de fleste implementeringer anvendes temperaturen først og top-k, top-p eller min-p bagefter, så en høj temperatur udvider den kerne, top-p beholder, mens en lav temperatur kan skrumpe den til ét token og gøre top-p irrelevant. Den kobling er grunden til, at udbyderne anbefaler at justere den ene af de to og lade den anden stå på standardværdien; Anthropics API-dokumentation siger, at man skal ændre temperature eller top_p, men ikke begge, og nogle nyere modeller afviser kald, der sætter begge.

Intervaller og standardværdier varierer mellem udbydere og ændrer sig over tid, så de skal aflæses i den aktuelle API-reference. OpenAI's Chat Completions API har dokumenteret et interval fra 0 til 2 med standardværdien 1; Anthropics Messages API har dokumenteret 0 til 1 med standardværdien 1. Nogle ræsonnementsmodeller accepterer kun standardværdien eller ignorerer parameteren, fordi deres ræsonnement er tunet til en fast sampling-opsætning. Talmæssigt ens værdier hos forskellige udbydere er ikke ækvivalente, da de underliggende modellers fordelinger er forskellige.

Udbredte misforståelser: Temperaturen er ikke i sig selv en knap for kreativitet eller korrekthed. Lav temperatur gør output mere ensartet, ikke mere korrekt - en model, der tager selvsikkert fejl, bliver ved med at tage fejl, og grådig afkodning kan havne i gentagelsesløkker i langt output. Høj temperatur øger ordvariationen, men også hyppigheden af faktuelle fejl og usammenhæng, især i lange tekster, hvor ét usandsynligt token flytter alt derefter. Og temperatur 0 garanterer ikke ens output fra hostede API'er: Batching og rækkefølgen af summeringer med flydende kommatal giver små numeriske forskelle, der kan vende næsten-uafgjorte tokens. Ved evaluering bør hvert testtilfælde køres flere gange i stedet for at stole på, at T = 0 giver determinisme.