{"licence":{"name":"CC BY-SA 4.0","spdx":"CC-BY-SA-4.0","url":"https://creativecommons.org/licenses/by-sa/4.0/","attribution":"Atlas, a bilingual technical dictionary (https://cmaintz.github.io/tech-atlas/)"},"id":"ai/large-language-model","url":{"en":"https://cmaintz.github.io/tech-atlas/en/terms/ai/large-language-model/","da":"https://cmaintz.github.io/tech-atlas/da/terms/ai/large-language-model/"},"term":{"en":"Large language model (LLM)","da":"Stor sprogmodel (LLM)"},"aka":{"en":["LLM","language model"],"da":["LLM","sprogmodel"]},"domain":["ai"],"cluster":"llm","layer":"model","status":"current","era":2020,"summary":{"en":"A very large model trained on huge amounts of text to predict the next word, which lets it write, sum up and answer in fluent language.","da":"En meget stor model, trænet på enorme mængder tekst til at forudsige det næste ord, så den kan skrive, opsummere og svare i flydende sprog."},"body":{"formal":{"en":"A deep learning model, usually a transformer with billions of weights, trained on vast text collections to predict the next token; the same skill, repeated, lets it produce long answers to a prompt.","da":"En deep learning-model, typisk en transformer med milliarder af vægte, trænet på enorme tekstsamlinger til at forudsige det næste token; den samme evne, gentaget, lader den skrive lange svar på en prompt."},"plain":{"en":"Like the next-word suggestions on a phone keyboard, but trained on a large part of the internet - it knows how answers usually sound, not whether they are true.","da":"Som ordforslagene på en mobiltelefons tastatur, bare trænet på en stor del af internettet - den ved, hvordan svar plejer at lyde, ikke om de er sande."},"inPractice":{"en":"Staff in a municipality get a chat assistant built on an LLM to draft replies to citizens and sum up meeting notes, and the IT department must decide which data they may paste into it.","da":"Medarbejderne i en kommune får en chatassistent bygget på en LLM til at skrive udkast til svar til borgere og opsummere mødenoter, og IT-afdelingen må beslutte, hvilke data de må indsætte i den."},"whyItMatters":{"en":"LLMs sound confident even when wrong, can be steered by hidden text, and send your input to whoever runs them - all real risks to weigh before use.","da":"LLM'er lyder sikre, selv når de tager fejl, kan styres af skjult tekst og sender dit input til den, der driver dem - alt sammen reelle risici, der skal vejes før brug."}},"deepDive":{"en":"Almost every current LLM is a decoder-only transformer: a stack of identical blocks, each combining causal (masked) multi-head self-attention with a feed-forward network, residual connections and normalisation, on top of a token-embedding table and under an output projection back to the vocabulary. Modern variants typically use rotary position embeddings, RMSNorm, gated feed-forward layers such as SwiGLU and grouped-query attention; many large models are mixture-of-experts, where a router activates only a few expert feed-forward networks per token, so the parameter count and the compute per token diverge. \"Large\" has no formal threshold; parameter counts in public models range from about a billion to hundreds of billions.\n\nTraining runs in stages. Pretraining minimises next-token cross-entropy over trillions of tokens of web text, code, books and increasingly synthetic data. Scaling-law work (Kaplan et al., 2020; Hoffmann et al., 2022, the Chinchilla paper) showed loss falls predictably as a power law in parameters, data and compute, and that compute-optimal training uses on the order of 20 tokens per parameter, though production models are often trained far beyond that to make inference cheaper. Post-training then applies supervised fine-tuning on instruction-response pairs, preference optimisation (RLHF or DPO) and, for reasoning models, reinforcement learning on verifiable tasks. The result is shipped as weights plus a tokenizer and a chat template.\n\nAt inference the model runs one forward pass over the prompt (prefill), then one pass per generated token (decode), reusing a KV cache; prefill is compute-bound, decode memory-bandwidth-bound, which is why output tokens cost more and why time to first token and tokens per second are separate metrics. Capabilities such as in-context learning, tool calling and structured output are behaviours of this same loop shaped by training, not separate modules; the model has no database, no clock and no built-in separation between instructions and data.\n\nRegulatory framing: the EU AI Act does not use the term LLM but regulates general-purpose AI models (Art. 3(63)), with provider obligations in Art. 53 that apply from 2 August 2025, covering technical documentation, information for downstream providers, a copyright policy and a public summary of training content. A model is presumed to have systemic risk when its cumulative training compute exceeds 10^25 floating-point operations (Art. 51(2)), which triggers the additional evaluation, incident-reporting and cybersecurity duties of Art. 55. Organisations that only use an LLM through an API are deployers of whatever AI system they build around it, and their duties depend on that system's use case, not on the model.","da":"Næsten alle nuværende LLM'er er decoder-only-transformere: en stak af ens blokke, der hver kombinerer kausal (maskeret) multi-head self-attention med et feed-forward-netværk, residualforbindelser og normalisering, oven på en token-embedding-tabel og under en outputprojektion tilbage til ordforrådet. Moderne varianter bruger typisk rotary position embeddings, RMSNorm, gatede feed-forward-lag som SwiGLU og grouped-query attention; mange store modeller er mixture of experts, hvor en router kun aktiverer nogle få ekspert-netværk pr. token, så antallet af parametre og regnearbejdet pr. token ikke længere følges ad. \"Stor\" har ingen formel grænse; åbne modeller spænder fra omkring en milliard til flere hundrede milliarder parametre.\n\nTræningen foregår i trin. Fortræningen minimerer cross-entropy for næste token over billioner af tokens webtekst, kode, bøger og i stigende grad syntetiske data. Arbejdet med skaleringslove (Kaplan m.fl., 2020; Hoffmann m.fl., 2022, Chinchilla-artiklen) viste, at tabet falder forudsigeligt som en potenslov i parametre, data og regnekraft, og at beregningsoptimal træning bruger i størrelsesordenen 20 tokens pr. parameter, selvom produktionsmodeller ofte trænes langt ud over det for at gøre inferens billigere. Eftertræningen anvender derefter supervised fine-tuning på par af instruktion og svar, præferenceoptimering (RLHF eller DPO) og, for ræsonnementsmodeller, forstærkningslæring på opgaver, hvor svaret kan tjekkes. Resultatet leveres som vægte plus en tokenizer og en chatskabelon.\n\nVed inferens kører modellen ét forward pass over prompten (prefill) og derefter ét pass pr. genereret token (decode) med genbrug af en KV-cache; prefill er begrænset af regnekraft, decode af hukommelsesbåndbredde, og derfor koster output-tokens mere, og time to first token og tokens pr. sekund er separate mål. Evner som in-context learning, værktøjskald og struktureret output er adfærd i den samme løkke, formet af træningen, ikke separate moduler; modellen har ingen database, intet ur og ingen indbygget adskillelse mellem instruktioner og data.\n\nReguleringsmæssigt bruger AI-forordningen ikke begrebet LLM, men regulerer AI-modeller til almen brug (art. 3, nr. 63) med udbyderforpligtelser i art. 53, der gælder fra 2. august 2025: teknisk dokumentation, oplysninger til downstream-udbydere, en ophavsretspolitik og et offentligt resumé af træningsindholdet. En model formodes at have systemisk risiko, når den samlede træningsberegning overstiger 10^25 flydende kommatalsoperationer (art. 51, stk. 2), hvilket udløser de ekstra krav om evaluering, hændelsesrapportering og cybersikkerhed i art. 55. Organisationer, der blot bruger en LLM via et API, er idriftsættere af det AI-system, de bygger omkring den, og deres pligter afhænger af systemets anvendelse, ikke af modellen."},"edges":[{"type":"requires","to":"ai/transformer","confidence":"high","strength":"normal"},{"type":"requires","to":"ai/token","confidence":"high","strength":"normal"},{"type":"kind-of","to":"ai/deep-learning","confidence":"high","strength":"normal"},{"type":"kind-of","to":"ai/generative-ai","why":{"en":"A large language model is the text-writing kind of generative AI.","da":"En stor sprogmodel er den tekstskrivende slags generativ AI."},"confidence":"medium","strength":"normal"},{"type":"kind-of","to":"ai/foundation-model","why":{"en":"Large language models are the most common kind of foundation model: pretrained once on broad text, then adapted to many tasks.","da":"Store sprogmodeller er den mest udbredte slags grundmodel: fortrænet én gang på bred tekst og derefter tilpasset til mange opgaver."},"confidence":"medium","strength":"normal"},{"type":"contrasts-with","to":"ai/small-language-model","why":{"en":"Both work the same way, but a small language model has far fewer parameters, so it is cheaper and faster but knows less.","da":"Begge virker på samme måde, men en lille sprogmodel har langt færre parametre, så den er billigere og hurtigere, men ved mindre."},"confidence":"medium","strength":"normal"},{"type":"causes","to":"ai/hallucination","why":{"en":"The model is built to produce likely-sounding text, not checked facts, so it sometimes invents answers.","da":"Modellen er bygget til at skrive tekst, der lyder sandsynlig, ikke tjekkede fakta, så den finder nogle gange på svar."},"confidence":"high","strength":"primary"},{"type":"used-with","to":"ai/self-supervised-learning","why":{"en":"Language models learn from huge amounts of unlabeled text by guessing the next piece, which is self-supervised learning.","da":"Sprogmodeller lærer af enorme mængder umærket tekst ved at gætte det næste stykke, hvilket er selvsuperviseret læring."},"confidence":"medium","strength":"normal"}],"depth":2,"sources":[{"title":"Brown et al. (2020), Language Models are Few-Shot Learners","tier":"reference"},{"title":"NIST AI 600-1 - Artificial Intelligence Risk Management Framework, Generative AI Profile","tier":"standard","publisher":"NIST"},{"title":"Regulation (EU) 2024/1689 (Artificial Intelligence Act), general-purpose AI models","tier":"standard","publisher":"European Union"}],"draft":true}