Sprogmodeller
Den største mængde tekst, målt i tokens, som en sprogmodel kan tage ind og have for øje på én gang, inklusive sit eget svar.
Formelt
Den faste grænse for, hvor mange tokens en sprogmodel kan håndtere på én gang; prompten, tidligere dele af samtalen, tilføjede dokumenter og svaret skal alle være inden for den.
Forklaret enkelt
Som størrelsen på et skrivebord - alt, modellen arbejder med, skal kunne ligge på det, og når det er fuldt, må noget ryddes væk for at gøre plads.
I praksis
En medarbejder i en region arbejder med en AI-assistent en hel eftermiddag; den begynder at ignorere de formatregler, den fik i starten, fordi chat-appen har skåret de ældste beskeder fra for at holde resten inden for kontekstvinduet.
Hvorfor det betyder noget
Det begrænser, hvor meget en model kan tage højde for i ét svar, og alt, hvad der ligger i vinduet - også tekst fra en fil, ingen har tjekket - påvirker svaret.