{"licence":{"name":"CC BY-SA 4.0","spdx":"CC-BY-SA-4.0","url":"https://creativecommons.org/licenses/by-sa/4.0/","attribution":"Atlas, a bilingual technical dictionary (https://cmaintz.github.io/tech-atlas/)"},"id":"ai/ai-bias","url":{"en":"https://cmaintz.github.io/tech-atlas/en/terms/ai/ai-bias/","da":"https://cmaintz.github.io/tech-atlas/da/terms/ai/ai-bias/"},"term":{"en":"AI bias","da":"Bias i AI"},"aka":{"en":["algorithmic bias","machine learning bias"],"da":["algoritmisk bias","skævhed i AI"]},"domain":["ai"],"cluster":"ai-risk","layer":"model","status":"current","era":2016,"summary":{"en":"When an AI system treats some people or cases unfairly because of one-sided data or design choices.","da":"Når et AI-system systematisk behandler nogle mennesker eller sager uretfærdigt på grund af skæve data eller valg i designet."},"body":{"formal":{"en":"A systematic error in which a model's results favour or harm certain groups, usually because the training data under-represents them or reflects past unfair decisions, or because of how the goal was defined.","da":"En systematisk fejl, hvor en models resultater stiller bestemte grupper bedre eller dårligere, som regel fordi træningsdataene underrepræsenterer dem eller afspejler tidligere uretfærdige beslutninger, eller fordi målet er defineret skævt."},"plain":{"en":"Like a new manager who only ever learned from one old boss's hiring records - they copy every habit, fair or not, and do it at speed.","da":"Som en ny leder, der kun har lært af én gammel chefs ansættelser - vedkommende kopierer alle vanerne, fair eller ej, og gør det i højt tempo."},"inPractice":{"en":"A municipality tests an AI tool, trained on years of past case decisions, that ranks unemployed citizens for extra help, and finds it places people from certain areas lower although where they live was never meant to count.","da":"En kommune afprøver et AI-værktøj, der er trænet på mange års tidligere afgørelser og skal prioritere ledige til ekstra indsats, og opdager, at borgere fra bestemte postnumre havner lavere, selvom bopæl aldrig skulle tælle med."},"whyItMatters":{"en":"An unfair pattern repeats in every automated decision until someone looks for it, so it can break equal-treatment and data protection law for thousands of people before anyone notices.","da":"En uretfærdig skævhed gentages i hver eneste automatiske afgørelse, indtil nogen leder efter den, så den kan bryde ligebehandlings- og databeskyttelsesreglerne for tusindvis af mennesker, før nogen opdager det."}},"deepDive":{"en":"NIST SP 1270 (2022) sorts AI bias into three interacting categories: systemic bias embedded in institutions and historical practice, statistical and computational bias arising from non-representative samples and modelling choices, and human bias in how people design, label, interpret and act on outputs. The technical entry points are well known: sampling and representation bias (a group is rare in the training set), label bias (the target encodes past decisions, such as \"was hired\" or \"was investigated\", rather than the ground truth), measurement bias (a feature is recorded less accurately for some groups), aggregation bias (one model for populations that behave differently) and deployment bias (a model used outside the context it was validated for).\n\nRemoving a protected attribute does not remove the bias. Postcode, name, language, school or employment gaps act as proxies, and a flexible model will reconstruct the missing attribute from them. For this reason audits measure outcomes rather than inspect inputs. Common group metrics are demographic parity (equal selection rates), the US \"four-fifths\" rule of thumb for adverse impact (a selection-rate ratio below 0.8), equalised odds (equal true- and false-positive rates, Hardt et al., 2016) and calibration within groups. Kleinberg et al. and Chouldechova (both 2016-17) proved that when base rates differ, calibration and equal error rates cannot hold at once except for a perfect predictor - the core of the ProPublica-Northpointe dispute over the COMPAS recidivism score. Choosing a metric is therefore a normative decision that must be documented, not a purely technical one.\n\nMitigation happens at three points: pre-processing (re-sampling, re-weighting, relabelling), in-processing (fairness constraints or adversarial debiasing in the loss) and post-processing (group-specific thresholds). Each trades some accuracy or individual consistency for group parity, and group-specific thresholds may themselves raise equal-treatment questions. For generative models, bias shows up as stereotyped text or images and uneven refusal rates, and is measured with benchmark prompt sets and counterfactual prompts that swap only a name or pronoun.\n\nIn EU law the EU AI Act Art. 10(2)(f)-(g) requires providers of high-risk systems to examine training, validation and test data for possible biases and to take measures to detect, prevent and mitigate them, and Art. 10(5) permits processing of special-category personal data strictly for that purpose under safeguards; the 2026 Digital Omnibus amendment (Regulation (EU) 2026/1744) widened that legal basis beyond high-risk systems. GDPR Art. 22 and the principle of fairness in Art. 5(1)(a) apply in parallel, as do national equal-treatment laws. Danish public-sector profiling has drawn scrutiny, for example Amnesty International's 2024 report on Udbetaling Danmark's fraud-control algorithms. Bias differs from hallucination (a fabricated output rather than a systematic tilt) and from data poisoning, where the skew is introduced deliberately by an attacker.","da":"NIST SP 1270 (2022) inddeler bias i AI i tre kategorier, der påvirker hinanden: systemisk bias, der er indlejret i institutioner og historisk praksis, statistisk og beregningsmæssig bias, der opstår af ikke-repræsentative stikprøver og modelvalg, og menneskelig bias i den måde, folk designer, annoterer, fortolker og handler på output. De tekniske indgange er velkendte: udvælgelses- og repræsentationsbias (en gruppe er sjælden i træningssættet), label-bias (målvariablen koder tidligere afgørelser som \"blev ansat\" eller \"blev undersøgt\" i stedet for den faktiske sandhed), målebias (en variabel registreres mindre præcist for nogle grupper), aggregeringsbias (én model for populationer, der opfører sig forskelligt) og implementeringsbias (en model bruges uden for den kontekst, den er valideret til).\n\nFjerner man en beskyttet egenskab, fjerner man ikke biasen. Postnummer, navn, sprog, uddannelsessted eller huller i beskæftigelsen fungerer som proxyer, og en fleksibel model rekonstruerer den manglende egenskab ud fra dem. Derfor måler en audit på udfaldet frem for at gennemgå inputtet. Udbredte gruppemål er demographic parity (lige udvælgelsesrater), den amerikanske tommelfingerregel \"four-fifths\" for adverse impact (et forhold mellem udvælgelsesrater under 0,8), equalised odds (lige rater for sande og falske positiver, Hardt et al., 2016) og kalibrering inden for grupper. Kleinberg et al. og Chouldechova (begge 2016-17) beviste, at når basisraterne er forskellige, kan kalibrering og lige fejlrater ikke opfyldes samtidig, medmindre modellen er perfekt - kernen i striden mellem ProPublica og Northpointe om recidivscoren COMPAS. Valget af mål er derfor en normativ beslutning, der skal dokumenteres, ikke et rent teknisk valg.\n\nAfbødning sker tre steder: pre-processing (gensampling, genvægtning, ny annotering), in-processing (fairness-begrænsninger eller adversarial debiasing i tabsfunktionen) og post-processing (gruppespecifikke tærskler). Hver metode bytter noget nøjagtighed eller individuel konsistens for lighed mellem grupper, og gruppespecifikke tærskler kan selv rejse ligebehandlingsspørgsmål. I generative modeller viser bias sig som stereotyp tekst eller stereotype billeder og ujævne afvisningsrater og måles med benchmark-sæt af prompts og kontrafaktiske prompts, hvor kun et navn eller et pronomen byttes ud.\n\nI EU-retten kræver AI-forordningens art. 10, stk. 2, litra f og g, at udbydere af højrisikosystemer undersøger trænings-, validerings- og testdata for mulig bias og træffer foranstaltninger til at opdage, forebygge og afbøde den, og art. 10, stk. 5, tillader behandling af særlige kategorier af personoplysninger alene til det formål og under garantier; ændringsforordningen Digital Omnibus fra 2026 (forordning (EU) 2026/1744) udvidede dette retsgrundlag til også at gælde ud over højrisikosystemer. GDPR art. 22 og princippet om rimelighed i art. 5, stk. 1, litra a, gælder sideløbende, ligesom de nationale ligebehandlingsregler. Profilering i den danske offentlige sektor er blevet kritiseret, fx i Amnesty Internationals rapport fra 2024 om Udbetaling Danmarks algoritmer til kontrol med socialt bedrageri. Bias adskiller sig fra hallucination (et opdigtet svar frem for en systematisk skævhed) og fra dataforgiftning, hvor skævheden bevidst er plantet af en angriber."},"edges":[{"type":"requires","to":"ai/training-data","confidence":"high","strength":"normal"},{"type":"requires","to":"ai/machine-learning","confidence":"high","strength":"normal"},{"type":"contrasts-with","to":"ai/hallucination","why":{"en":"Bias is a steady tilt in results for certain groups; a hallucination is a confident answer that is simply made up.","da":"Bias er en fast skævhed i resultaterne for bestemte grupper; en hallucination er et selvsikkert svar, der simpelthen er fundet på."},"confidence":"high","strength":"normal"},{"type":"causes","to":"security/risk","why":{"en":"Unfair outcomes create legal, financial and reputation risk for the organisation using the system.","da":"Uretfærdige resultater skaber juridisk, økonomisk og omdømmemæssig risiko for den organisation, der bruger systemet."},"confidence":"medium","strength":"minor"}],"depth":2,"sources":[{"title":"NIST AI 100-1 - Artificial Intelligence Risk Management Framework (AI RMF 1.0)","url":"https://doi.org/10.6028/NIST.AI.100-1","tier":"standard","publisher":"NIST"},{"title":"NIST SP 1270 - Towards a Standard for Identifying and Managing Bias in Artificial Intelligence","url":"https://doi.org/10.6028/NIST.SP.1270","tier":"standard","publisher":"NIST"}],"draft":true}