{"licence":{"name":"CC BY-SA 4.0","spdx":"CC-BY-SA-4.0","url":"https://creativecommons.org/licenses/by-sa/4.0/","attribution":"Atlas, a bilingual technical dictionary (https://cmaintz.github.io/tech-atlas/)"},"id":"ai/fine-tuning","url":{"en":"https://cmaintz.github.io/tech-atlas/en/terms/ai/fine-tuning/","da":"https://cmaintz.github.io/tech-atlas/da/terms/ai/fine-tuning/"},"term":{"en":"Fine-tuning","da":"Finjustering (fine-tuning)"},"aka":{"en":[],"da":["fine-tuning","finjustering"]},"domain":["ai"],"cluster":"llm","layer":"training","status":"current","summary":{"en":"Giving an already trained model a short extra round of training on a smaller, focused set of examples to change how it behaves.","da":"At give en allerede trænet model en kort ekstra træningsrunde på et mindre, målrettet sæt eksempler for at ændre dens adfærd."},"body":{"formal":{"en":"A second, smaller round of model training that starts from a finished general model and adjusts some or all of its weights on task-specific data, such as a company's own texts.","da":"En anden, mindre runde modeltræning, der starter fra en færdig generel model og justerer nogle eller alle dens vægte på opgavespecifikke data, fx en virksomheds egne tekster."},"plain":{"en":"Like a trained nurse doing a short course to focus on children's care - the broad skills stay, a narrow set is sharpened.","da":"Som en uddannet sygeplejerske, der tager et kort kursus i pleje af børn - de brede evner bliver, mens et snævert område bliver styrket."},"inPractice":{"en":"A pension fund fine-tunes a language model on thousands of past replies to members, so that it drafts answers in the fund's own tone and format.","da":"En pensionskasse finjusterer en sprogmodel på tusindvis af tidligere svar til medlemmerne, så den skriver udkast i kassens egen tone og form."},"whyItMatters":{"en":"Data used here becomes part of the model and is hard to take out again, so personal data in it may leak and cannot simply be deleted when someone asks.","da":"Data, der bruges her, bliver en del af modellen og er svære at fjerne igen, så personoplysninger i dem kan lække og ikke bare kan slettes, når nogen beder om det."}},"deepDive":{"en":"Fine-tuning continues gradient descent from pretrained weights instead of a random initialisation, usually with a much smaller learning rate and dataset than pretraining. For language models the most common form is supervised fine-tuning (SFT): the model is trained with the ordinary next-token cross-entropy loss on prompt-response pairs, with the loss typically masked so that only the response tokens are scored. Preference-based stages such as RLHF or Direct Preference Optimization (Rafailov et al., 2023) are also fine-tuning in the broad sense; instruction tuning is SFT on a large, diverse set of instructions, which is what turns a raw pretrained model into an assistant.\n\nFull fine-tuning updates every weight and needs optimiser state for all of them, which for a large model means several times the memory of the weights alone. Parameter-efficient fine-tuning (PEFT) avoids this. LoRA (Hu et al., 2021) freezes the original weight matrix W and learns a low-rank update BA, where B and A have a small inner rank r (often 8 to 64) and the update is scaled by alpha divided by r; for GPT-3 175B the authors reported roughly 10,000 times fewer trainable parameters. QLoRA (Dettmers et al., 2023) combines LoRA with a 4-bit quantised base model and made fine-tuning a 65-billion-parameter model feasible on a single 48 GB GPU. Adapters can be merged into the weights for serving or kept separate and swapped per tenant.\n\nFine-tuning is good at changing behaviour - format, tone, domain vocabulary, classification labels, tool-call conventions - and relatively poor at reliably adding new facts, which is why the usual advice is RAG for knowledge and fine-tuning for form. Typical failure modes are overfitting to a small dataset, catastrophic forgetting of general capabilities, and erosion of safety training: Qi et al. (2023) showed that fine-tuning an aligned model on as few as ten adversarial examples, through a commercial fine-tuning API, largely removed its refusal behaviour, and that even benign datasets degraded safety somewhat. Evaluation should therefore include regression and safety test sets, not just the target task.\n\nTwo governance points follow. Training data is absorbed into the weights and can be partially extracted by memorisation attacks, and there is no reliable way to delete one person's data from a trained model, so honouring GDPR Art. 17 erasure in practice means retraining or not training on personal data in the first place. Under the EU AI Act, the Commission's July 2025 guidelines on general-purpose AI models treat a downstream modifier as the provider of a new model, as an indicative threshold, only where the modification uses more than one third of the original model's training compute, so ordinary fine-tuning by a deployer normally does not trigger the GPAI provider obligations, though other AI Act roles may still apply.","da":"Finjustering fortsætter gradientnedstigningen fra fortrænede vægte i stedet for fra en tilfældig initialisering, som regel med en meget mindre læringsrate og et meget mindre datasæt end under fortræningen. For sprogmodeller er den mest almindelige form supervised fine-tuning (SFT): Modellen trænes med det almindelige cross-entropy-tab for næste token på par af prompt og svar, typisk med tabet maskeret, så kun svarets tokens tæller. Præferencebaserede trin som RLHF eller Direct Preference Optimization (Rafailov m.fl., 2023) er også finjustering i bred forstand; instruktionstilpasning er SFT på et stort og varieret sæt instruktioner, og det er den, der gør en rå fortrænet model til en assistent.\n\nFuld finjustering opdaterer alle vægte og kræver optimeringstilstand for dem alle, hvilket for en stor model betyder flere gange så meget hukommelse som vægtene alene. Parameter-effektiv finjustering (PEFT) undgår det. LoRA (Hu m.fl., 2021) fryser den oprindelige vægtmatrix W og lærer en lav-rang-opdatering BA, hvor B og A har en lille indre rang r (ofte 8 til 64), og opdateringen skaleres med alpha divideret med r; for GPT-3 175B rapporterede forfatterne omkring 10.000 gange færre trænbare parametre. QLoRA (Dettmers m.fl., 2023) kombinerer LoRA med en 4-bit-kvantiseret basismodel og gjorde det muligt at finjustere en model med 65 milliarder parametre på ét GPU med 48 GB. Adaptere kan flettes ind i vægtene ved drift eller holdes adskilt og skiftes pr. kunde.\n\nFinjustering er god til at ændre adfærd - format, tone, fagsprog, klassifikationsetiketter, konventioner for værktøjskald - og forholdsvis dårlig til pålideligt at tilføje nye fakta, derfor lyder det gængse råd: RAG til viden og finjustering til form. Typiske fejl er overfitting til et lille datasæt, katastrofal glemsel af generelle evner og udhuling af sikkerhedstræningen: Qi m.fl. (2023) viste, at finjustering af en alignet model på blot ti ondsindede eksempler via et kommercielt finjusterings-API stort set fjernede dens afvisninger, og at selv harmløse datasæt svækkede sikkerheden noget. Evalueringen bør derfor omfatte regressions- og sikkerhedstests, ikke kun målopgaven.\n\nTo governance-pointer følger. Træningsdata optages i vægtene og kan delvist trækkes ud igen med memoriseringsangreb, og der findes ingen pålidelig måde at slette én persons data fra en trænet model, så at efterleve retten til sletning i databeskyttelsesforordningens art. 17 betyder i praksis gentræning eller at lade være med at træne på personoplysninger fra starten. Efter AI-forordningen betragter Kommissionens retningslinjer for AI-modeller til almen brug fra juli 2025 som vejledende tærskel kun en downstream-modificerende aktør som udbyder af en ny model, hvis ændringen bruger mere end en tredjedel af den oprindelige models træningsberegning, så almindelig finjustering hos en idriftsætter udløser normalt ikke udbyderforpligtelserne for GPAI-modeller, selvom andre roller i AI-forordningen stadig kan være relevante."},"edges":[{"type":"kind-of","to":"ai/model-training","confidence":"high","strength":"normal"},{"type":"implements","to":"ai/transfer-learning","why":{"en":"Fine-tuning is the usual way transfer learning is done: take a trained model and keep training it on a smaller, task-specific set.","da":"Finjustering er den almindelige måde at lave overførselslæring på: tag en trænet model og træn den videre på et mindre, opgavespecifikt sæt."},"confidence":"medium","strength":"normal"},{"type":"alternative-to","to":"ai/retrieval-augmented-generation","why":{"en":"Both adapt a model to your organisation; fine-tuning bakes knowledge into the model, while RAG looks it up at answer time and can be updated or limited per user.","da":"Begge tilpasser en model til organisationen; finjustering bager viden ind i modellen, mens RAG slår den op, når der svares, og kan opdateres eller begrænses per bruger."},"confidence":"high","strength":"primary"},{"type":"alternative-to","to":"ai/prompt-engineering","why":{"en":"Both change how a model behaves for a task; prompt engineering changes only the words sent, fine-tuning changes the weights.","da":"Begge ændrer, hvordan en model opfører sig til en opgave; prompt engineering ændrer kun de ord, der sendes, finjustering ændrer vægtene."},"confidence":"medium","strength":"normal"},{"type":"used-with","to":"ai/large-language-model","confidence":"high","strength":"normal"},{"type":"used-with","to":"ai/training-data","confidence":"high","strength":"normal"},{"type":"used-with","to":"ai/foundation-model","why":{"en":"A foundation model is usually adapted to a specific task by fine-tuning it on a smaller set of examples.","da":"En grundmodel tilpasses som regel til en bestemt opgave ved at finjustere den på et mindre sæt eksempler."},"confidence":"medium","strength":"normal"}],"depth":0,"sources":[{"title":"Howard & Ruder (2018), Universal Language Model Fine-tuning for Text Classification","tier":"reference"},{"title":"Goodfellow, Bengio & Courville, Deep Learning","tier":"textbook","publisher":"MIT Press"},{"title":"ISO/IEC 22989:2022 - Artificial intelligence concepts and terminology","tier":"standard","publisher":"ISO/IEC"}],"draft":true}