Stor sprogmodel (LLM)

Næsten alle nuværende LLM'er er decoder-only-transformere: en stak af ens blokke, der hver kombinerer kausal (maskeret) multi-head self-attention med et feed-forward-netværk, residualforbindelser og normalisering, oven på en token-embedding-tabel og under en outputprojektion tilbage til ordforrådet. Moderne varianter bruger typisk rotary position embeddings, RMSNorm, gatede feed-forward-lag som SwiGLU og grouped-query attention; mange store modeller er mixture of experts, hvor en router kun aktiverer nogle få ekspert-netværk pr. token, så antallet af parametre og regnearbejdet pr. token ikke længere følges ad. "Stor" har ingen formel grænse; åbne modeller spænder fra omkring en milliard til flere hundrede milliarder parametre.

Træningen foregår i trin. Fortræningen minimerer cross-entropy for næste token over billioner af tokens webtekst, kode, bøger og i stigende grad syntetiske data. Arbejdet med skaleringslove (Kaplan m.fl., 2020; Hoffmann m.fl., 2022, Chinchilla-artiklen) viste, at tabet falder forudsigeligt som en potenslov i parametre, data og regnekraft, og at beregningsoptimal træning bruger i størrelsesordenen 20 tokens pr. parameter, selvom produktionsmodeller ofte trænes langt ud over det for at gøre inferens billigere. Eftertræningen anvender derefter supervised fine-tuning på par af instruktion og svar, præferenceoptimering (RLHF eller DPO) og, for ræsonnementsmodeller, forstærkningslæring på opgaver, hvor svaret kan tjekkes. Resultatet leveres som vægte plus en tokenizer og en chatskabelon.

Ved inferens kører modellen ét forward pass over prompten (prefill) og derefter ét pass pr. genereret token (decode) med genbrug af en KV-cache; prefill er begrænset af regnekraft, decode af hukommelsesbåndbredde, og derfor koster output-tokens mere, og time to first token og tokens pr. sekund er separate mål. Evner som in-context learning, værktøjskald og struktureret output er adfærd i den samme løkke, formet af træningen, ikke separate moduler; modellen har ingen database, intet ur og ingen indbygget adskillelse mellem instruktioner og data.

Reguleringsmæssigt bruger AI-forordningen ikke begrebet LLM, men regulerer AI-modeller til almen brug (art. 3, nr. 63) med udbyderforpligtelser i art. 53, der gælder fra 2. august 2025: teknisk dokumentation, oplysninger til downstream-udbydere, en ophavsretspolitik og et offentligt resumé af træningsindholdet. En model formodes at have systemisk risiko, når den samlede træningsberegning overstiger 10^25 flydende kommatalsoperationer (art. 51, stk. 2), hvilket udløser de ekstra krav om evaluering, hændelsesrapportering og cybersikkerhed i art. 55. Organisationer, der blot bruger en LLM via et API, er idriftsættere af det AI-system, de bygger omkring den, og deres pligter afhænger af systemets anvendelse, ikke af modellen.