Kontekstvindue vs. Træningsdata

Hvorfor de er forskellige

Tekst i kontekstvinduet læses kun til det aktuelle svar; træningsdata formede modellen på forhånd. En leverandør kan dog gemme samtaler og senere genbruge dem som træningsdata.

Kontekstvindue

Sprogmodeller

Den største mængde tekst, målt i tokens, som en sprogmodel kan tage ind og have for øje på én gang, inklusive sit eget svar.

Formelt

Den faste grænse for, hvor mange tokens en sprogmodel kan håndtere på én gang; prompten, tidligere dele af samtalen, tilføjede dokumenter og svaret skal alle være inden for den.

Forklaret enkelt

Som størrelsen på et skrivebord - alt, modellen arbejder med, skal kunne ligge på det, og når det er fuldt, må noget ryddes væk for at gøre plads.

I praksis

En medarbejder i en region arbejder med en AI-assistent en hel eftermiddag; den begynder at ignorere de formatregler, den fik i starten, fordi chat-appen har skåret de ældste beskeder fra for at holde resten inden for kontekstvinduet.

Hvorfor det betyder noget

Det begrænser, hvor meget en model kan tage højde for i ét svar, og alt, hvad der ligger i vinduet - også tekst fra en fil, ingen har tjekket - påvirker svaret.

Træningsdata

Grundlæggende maskinlæring

De eksempler, en model lærer af - dens adfærd, dens blinde vinkler og dens fejl kommer alle fra det, der er i dem.

Formelt

Samlingen af eksempler, ofte med de rigtige svar tilknyttet, som bruges under modeltræning til at fastsætte modellens interne tal; holdes adskilt fra de data, der senere bruges til at teste den.

Forklaret enkelt

Som de lærebøger og gamle eksamenssæt, en studerende læser på - er de forkerte, skæve eller forældede, bliver det, den studerende lærer, det også.

I praksis

En pensionskasse vil træne en model på ti års mails fra medlemmer og skal først undersøge, hvilke af dem der indeholder persondata, og på hvilket retsgrundlag de må bruges.

Hvorfor det betyder noget

Træningsdata er et aktiv, der skal beskyttes, og en kilde til risiko - de kan lække persondata, bære uretfærdige mønstre eller i det skjulte blive ændret af en angriber.

Fælles forbindelser

Vidensgrænse (knowledge cutoff)