Gå til indhold
atlas

Forveksl ikke disse

Agenthukommelse vs. Kontekstvindue

Hvorfor de er forskellige

Kontekstvinduet er det, modellen ser lige nu, og forsvinder, når samtalen slutter; agenthukommelse gemmes udenfor og overlever, så den kan læses ind igen.

Agenthukommelse

Agenter og værktøjer

Noter, en AI-agent gemmer uden for modellen og læser igen senere, så den kan huske fakta og tidligere arbejde mellem adskilte samtaler.

Formelt

Lager uden for modellen - almindelige filer, en database eller en vektordatabase - som en agent skriver fakta, valg og sammendrag ind i, og hvorfra de mest nyttige dele hentes tilbage i kontekstvinduet, når senere opgaver starter.

Forklaret enkelt

Som en sygeplejerskes notesbog, der går videre mellem vagterne - den, der møder ind, læser først noterne, for ingen husker selv i går.

I praksis

En udvikler i en pensionskasse arbejder med en kodeassistent, der gemmer noter som “medlemsnumre må aldrig stå i logfiler”; en uge senere, i en ny samtale, læser den dem igen, før den rører koden.

Hvorfor det betyder noget

Det gør agenter mere nyttige over tid, men gemte noter bliver taget for gode varer senere - en plantet falsk note eller en gemt hemmelighed kan overleve den samtale, der skabte den.

Kontekstvindue

Sprogmodeller

Den største mængde tekst, målt i tokens, som en sprogmodel kan tage ind og have for øje på én gang, inklusive sit eget svar.

Formelt

Den faste grænse for, hvor mange tokens en sprogmodel kan håndtere på én gang; prompten, tidligere dele af samtalen, tilføjede dokumenter og svaret skal alle være inden for den.

Forklaret enkelt

Som størrelsen på et skrivebord - alt, modellen arbejder med, skal kunne ligge på det, og når det er fuldt, må noget ryddes væk for at gøre plads.

I praksis

En medarbejder i en region arbejder med en AI-assistent en hel eftermiddag; den begynder at ignorere de formatregler, den fik i starten, fordi chat-appen har skåret de ældste beskeder fra for at holde resten inden for kontekstvinduet.

Hvorfor det betyder noget

Det begrænser, hvor meget en model kan tage højde for i ét svar, og alt, hvad der ligger i vinduet - også tekst fra en fil, ingen har tjekket - påvirker svaret.

Fælles forbindelser

Atlas er i beta.