Latens

Latens er en fordeling, ikke et enkelt tal. Seriøse målinger angiver percentiler som p50, p95, p99 og p99,9 over et defineret tidsvindue, fordi gennemsnit skjuler halen, og det er halen, brugere af fan-out-systemer mærker: hvis én sidevisning kalder 100 backends parallelt, er siden lige så langsom som den langsomste, så en backend, der er langsom én gang ud af 100, rammer de fleste sidevisninger (Dean og Barroso, "The Tail at Scale", 2013). Percentiler kan ikke midles på tværs af servere eller tidsvinduer; de skal beregnes ud fra sammenlagte histogrammer (fx HDR-histogrammer eller t-digests). Belastningsværktøjer, der venter på hvert svar, før de sender det næste, underrapporterer halelatensen under stop, en fejl kendt som coordinated omission.

Latens hænger sammen med belastning gennem køteori. Littles lov, L = λW, forbinder det gennemsnitlige antal forespørgsler i systemet med ankomstraten og tiden i systemet. I simple kømodeller vokser ventetiden ikke-lineært, når udnyttelsen nærmer sig 100 % (for en M/M/1-kø er den gennemsnitlige tid i systemet 1/(μ − λ)), og derfor kan en tjeneste, der kører fint ved 60 % udnyttelse, blive ubrugelig ved 90 %. Kapacitetsplanlægning fastsætter derfor latensmål ved en bestemt percentil og udleder loftet for udnyttelse derfra, ikke omvendt.

For LLM-tjenester kan end-to-end-latensen opdeles i netværks- og køtid, tid til første token (domineret af prefill af prompten) og decode-fasen, ofte udtrykt som tid pr. output-token (TPOT) eller inter-token-latens (ITL). En brugbar tilnærmelse er E2E ≈ TTFT + TPOT × (antal output-tokens − 1). Håndtagene er forskellige for hver del: promptlængde og prompt caching påvirker TTFT; modelstørrelse, kvantisering, speculative decoding og batchstørrelse påvirker TPOT; og svarets længde er ofte den største enkeltfaktor, hvilket er grunden til, at et loft over eller kortere svar sænker latensen mere end ny hardware. Ræsonnerende modeller tilføjer skjulte tænke-tokens, så den oplevede latens kan være langt højere, end længden af det synlige svar antyder.

Det centrale kompromis er med gennemløb. Større batches hæver antallet af tokens pr. sekund pr. GPU, men gør hvert trin for den enkelte sekvens langsommere og giver mere kø, så serving-systemer justerer batchgrænserne mod et latens-SLO. Agentbaserede arbejdsgange forstærker problemet: en agent, der foretager ti model- og værktøjskald efter hinanden, ganger latensen pr. kald op, så designet foretrækker parallelle kald, mindre modeller til routing-trin og streaming. Når latens rapporteres, skal det fremgå, hvor den er målt (klient, gateway eller modelserver), hvilken percentil, ved hvilken samtidighed og med hvilke prompt- og svarlængder; tal uden den kontekst kan ikke sammenlignes.