Vidensgrænse (knowledge cutoff)

En skæringsdato er en egenskab ved fortræningskorpusset, ikke ved modellens adfærd, og den er mere uskarp, end den ene dato på et modelkort antyder. Korpusser i webskala samles fra crawl-snapshots som Common Crawl, filtreres og deduplikeres og fryses så måneder før træningen er færdig; derefter eftertrænes, evalueres og udgives modellen, så afstanden fra skæringsdato til generel tilgængelighed er typisk fra flere måneder til et år, og modellen kan være i drift et år eller mere derefter. Nogle udbydere oplyser nu to datoer: Anthropics modeldokumentation angiver fx en "reliable knowledge cutoff" (datoen, hvortil viden er mest omfattende og pålidelig) adskilt fra en senere "training data cutoff" (det bredere interval af data, der er brugt).

Forskellen betyder noget, fordi dækningen af en given periode bliver ved med at vokse i årevis bagefter: Nyhedsanalyser, dokumentation, forumsvar og opslagsværksrettelser om en begivenhed hober sig op længe efter selve begivenheden. De sidste måneder før en skæringsdato er derfor tyndt repræsenteret, og modellens viden om dem er hullet. Cheng m.fl. ("Dated Data", 2024) testede modeller mod tidsstemplede versioner af de samme kilder og fandt, at de effektive skæringsdatoer ofte afviger markant fra de oplyste og varierer mellem delkilder; de tilskriver det gammelt indhold, der dukker op igen i nyere crawl-dumps, og deduplikering, der fungerer dårligt med næsten-dubletter.

Modeller kender heller ikke pålideligt deres egen skæringsdato. Spurgt direkte kan en model nævne en tidligere dato end den reelle, fordi den tekst, den har set om sig selv eller om den seneste periode, er sparsom. Den har heller intet ur: Medmindre systemprompten eller et værktøj giver dagens dato, ræsonnerer den, som om nutiden lå et sted omkring træningsperioden, hvilket giver forkerte aldre, forkerte svar om "nyeste version" og forældet status for regulering. Løsninger indsætter derfor den aktuelle dato og giver modellen søgning eller opslag, hvor aktualitet betyder noget.

Vidensgrænsen spiller sammen med nabobegreberne på bestemte måder. Retrieval-augmented generation og værktøjsbrug flytter ikke vidensgrænsen; de lægger nyere tekst ind i kontekstvinduet til det aktuelle kald alene. Finjustering på nye data kan tilføje en smule ny viden, men er en upålidelig måde at opdatere fakta på. Kun fortsat fortræning eller en ny modelversion flytter selve skæringsdatoen. I sikkerhedsarbejde er den praktiske regel, at alt, der afhænger af versioner, sårbarheder eller lovgivning, skal tjekkes mod en aktuel primærkilde, for modellens indlærte viden er med garanti forældet for alt, der har ændret sig efter skæringsdatoen.