Kvantisering

Grundskemaet er affin (uniform) kvantisering: en reel værdi x afbildes på et heltal q = clamp(round(x / s) + z, q_min, q_max) og genskabes tilnærmelsesvis som x̂ = s · (q − z), hvor s er skalaen og z nulpunktet. Symmetrisk kvantisering fastlåser z = 0 og passer til vægte, der ligger nogenlunde omkring nul; asymmetrisk kvantisering bruger den ekstra parameter på skæve intervaller som aktiveringer efter ReLU. Granulariteten betyder lige så meget som antallet af bit: én skala pr. tensor er billig, men grov, skalaer pr. kanal er standard for vægte, og 4-bit-kvantisering af LLM-vægte bruger normalt skalaer pr. gruppe (fx én skala pr. 128 på hinanden følgende vægte), hvilket koster lidt ekstra lagerplads, men mindsker fejlen markant.

Der findes to familier af metoder. Post-training quantization (PTQ) konverterer en allerede trænet model, nogle gange med et lille kalibreringsdatasæt til at vælge intervaller. Quantization-aware training (QAT) simulerer afrundingen under træning eller finjustering med en straight-through estimator til gradienterne og genvinder mere nøjagtighed ved lave bitbredder, mod at det kræver en træningskørsel. Store sprogmodeller gav særlige problemer: LLM.int8() (Dettmers m.fl., 2022) viste, at nogle få feature-dimensioner i aktiveringerne har store outliers, der ødelægger naive 8-bit-skemaer, og håndterede dem i 16 bit; SmoothQuant flytter outliers fra aktiveringerne over i vægtene med en omskalering pr. kanal; GPTQ kvantiserer vægtene lag for lag ved hjælp af tilnærmet andenordensinformation; AWQ beskytter de vægtkanaler, der betyder mest for aktiveringerne. QLoRA introducerede datatypen 4-bit NormalFloat (NF4) til finjustering oven på kvantiserede basismodeller.

Det er vigtigt at være klar over, hvad der kvantiseres. Skemaer, der kun kvantiserer vægte (W4A16, W8A16), gemmer vægtene kompakt, men dekvantiserer dem til 16-bit-regning; de hjælper især den memory-bound decode-fase, hvor hastigheden følger antallet af bytes, der læses pr. token. Skemaer for både vægte og aktiveringer (W8A8 i INT8 eller FP8) bruger også tensor core-regning med lav præcision og hjælper den compute-bound prefill-fase. FP8 findes i to varianter, E4M3 og E5M2, der bytter præcision i mantissen mod talområde, og nyere hardware tilføjer floating point-formater på 4 bit. KV-cachen kan kvantiseres for sig. I llama.cpp-økosystemet indeholder GGUF-filer blokvise formater som Q4_K_M og Q8_0.

Hukommelsesregnestykket er enkelt: 70 milliarder parametre fylder omkring 140 GB ved 16 bit, 70 GB ved 8 bit og cirka 35-40 GB ved 4 bit inklusive skalaer, hvilket kan afgøre, om en model kan ligge på én accelerator. Fejlmønstrene er mindre åbenlyse. Forringelsen er ujævn: perplexity og generelle benchmarks rykker sig måske knap, mens regning, kode, genfinding i lange kontekster eller andre sprog end engelsk kan blive mærkbart dårligere, så evalueringen bør bruge opgavespecifikke data. Meget lave bitbredder (3 bit og derunder) kræver som regel QAT eller omhyggelige metoder. Kvantisering adskiller sig fra destillation, der træner en ny, mindre model, og fra pruning, der fjerner parametre; de tre kombineres ofte.