{"licence":{"name":"CC BY-SA 4.0","spdx":"CC-BY-SA-4.0","url":"https://creativecommons.org/licenses/by-sa/4.0/","attribution":"Atlas, a bilingual technical dictionary (https://cmaintz.github.io/tech-atlas/)"},"id":"ai/human-in-the-loop","url":{"en":"https://cmaintz.github.io/tech-atlas/en/terms/ai/human-in-the-loop/","da":"https://cmaintz.github.io/tech-atlas/da/terms/ai/human-in-the-loop/"},"term":{"en":"Human-in-the-loop (HITL)","da":"Menneske i løkken (HITL)"},"aka":{"en":["HITL"],"da":["HITL","human-in-the-loop"]},"domain":["ai"],"cluster":"agents","layer":"agent","status":"current","summary":{"en":"Designing an AI system so a person must check or approve its work at key points before it takes effect.","da":"At indrette et AI-system, så en person skal tjekke eller godkende dets arbejde på vigtige punkter, før det får virkning."},"body":{"formal":{"en":"A design in which chosen steps of an automated process pause for a human decision - approving, editing or rejecting a proposed action or output - so that the system cannot finish those steps on its own.","da":"En indretning, hvor udvalgte trin i en automatisk proces holder pause for en menneskelig beslutning - godkend, ret eller afvis en foreslået handling eller et output - så systemet ikke selv kan fuldføre de trin."},"plain":{"en":"Like a bank that needs a second signature for large payments - the clerk prepares everything, but the money only moves once a manager signs.","da":"Som en bank, der kræver en ekstra underskrift på store betalinger - ekspedienten forbereder det hele, men pengene flyttes først, når en chef skriver under."},"inPractice":{"en":"At a regional hospital, an AI agent drafts replies to patients' messages about appointments, but nothing is sent until a medical secretary has read the draft and clicked “approve”, or edited or rejected it.","da":"På et regionshospital skriver en AI-agent udkast til svar på patienters beskeder om aftaler, men intet sendes, før en lægesekretær har læst udkastet og klikket “godkend” - eller rettet eller afvist det."},"whyItMatters":{"en":"It keeps a person responsible for actions that are costly or hard to undo, though if approvals come too often people start clicking yes without reading.","da":"Det holder en person ansvarlig for handlinger, der er dyre eller svære at gøre om, men skal der godkendes for tit, begynder folk at klikke ja uden at læse."}},"deepDive":{"en":"The literature distinguishes three configurations. Human-in-the-loop means the system cannot complete a gated step without an affirmative human decision; human-on-the-loop means the system acts autonomously while a person monitors and can intervene or halt it; human-out-of-the-loop means no real-time oversight at all. The labels apply to individual steps rather than whole systems: a single agent may run read-only tools autonomously, log medium-risk actions for later review, and block on approval for irreversible ones.\n\nIn EU law the anchor is Article 14 of the AI Act (Regulation (EU) 2024/1689). High-risk systems must be designed so natural persons can oversee them effectively; Art. 14(4) lists what overseers must be enabled to do: understand the system's capacities and limitations and monitor it, remain aware of automation bias, correctly interpret output, decide not to use or to disregard, override or reverse output, and intervene or interrupt via a stop procedure. Art. 14(5) adds a two-person rule for remote biometric identification listed in Annex III point 1(a). Deployers must assign oversight to people with the necessary competence, training and authority (Art. 26(2)). After the AI Omnibus amendment entered into force on 27 July 2026, these obligations apply to Annex III high-risk systems from 2 December 2027 and to Annex I product-embedded systems from 2 August 2028. Separately, GDPR Art. 22 restricts decisions based solely on automated processing with legal or similarly significant effects, and Art. 22(3) gives a right to obtain human intervention; the Article 29 Working Party guidelines (WP251rev.01) treat token human involvement as insufficient to take a decision outside Art. 22, and the CJEU held in SCHUFA (C-634/21, 2023) that an automated score can itself be such a decision when a third party draws strongly on it.\n\nThe central failure mode is rubber-stamping. Automation bias and approval fatigue mean reviewers who approve hundreds of routine requests stop reading them, so the approval rate trends to 100% and the control becomes theatre. Effective designs gate by risk rather than by default, show the concrete proposed action (the exact email, SQL statement, diff or payment with its parameters and the sources that led to it) instead of a summary written by the same model, make rejection and editing as easy as approval, default to deny on timeout, and log who approved what for audit.\n\nFor agents, implementation requires pausing mid-trajectory: the orchestrator persists state at the gated tool call, surfaces it in an approval queue, and resumes with the human's decision injected as the tool result. Note the limits. HITL does not prevent prompt injection; it gives a human a chance to notice its effects, which only works if the malicious action is visible in what is shown. It also adds latency and cost, so it complements sandboxing and least privilege rather than replacing them.","da":"Litteraturen skelner mellem tre konfigurationer. Human-in-the-loop betyder, at systemet ikke kan fuldføre et kontrolleret trin uden en aktiv menneskelig beslutning; human-on-the-loop betyder, at systemet handler selvstændigt, mens en person overvåger og kan gribe ind eller stoppe det; human-out-of-the-loop betyder slet ingen løbende overvågning. Betegnelserne gælder enkelte trin frem for hele systemer: En agent kan køre skrivebeskyttede værktøjer selvstændigt, logge handlinger med middel risiko til senere gennemsyn og blokere for godkendelse ved uigenkaldelige handlinger.\n\nI EU-retten er ankeret artikel 14 i AI-forordningen (forordning (EU) 2024/1689). Højrisikosystemer skal udformes, så fysiske personer effektivt kan føre tilsyn med dem; art. 14, stk. 4, oplister, hvad tilsynspersonerne skal sættes i stand til: at forstå systemets kapacitet og begrænsninger og overvåge det, være opmærksomme på automatiseringsbias, fortolke output korrekt, beslutte ikke at bruge systemet eller at se bort fra, tilsidesætte eller omgøre output samt gribe ind eller afbryde via en stopprocedure. Art. 14, stk. 5, tilføjer et krav om to personer ved biometrisk fjernidentifikation i bilag III, punkt 1, litra a. Idriftsættere skal overdrage tilsynet til personer med den nødvendige kompetence, uddannelse og myndighed (art. 26, stk. 2). Efter at AI-omnibusændringen trådte i kraft den 27. juli 2026, gælder forpligtelserne for højrisikosystemer i bilag III fra 2. december 2027 og for systemer indlejret i produkter under bilag I fra 2. august 2028. Derudover begrænser databeskyttelsesforordningens art. 22 afgørelser, der udelukkende bygger på automatisk behandling og har retsvirkning eller tilsvarende betydelig virkning, og art. 22, stk. 3, giver ret til menneskelig indgriben; Artikel 29-gruppens retningslinjer (WP251rev.01) anser symbolsk menneskelig medvirken for utilstrækkelig til at bringe en afgørelse uden for art. 22, og EU-Domstolen fastslog i SCHUFA (C-634/21, 2023), at en automatisk score i sig selv kan være en sådan afgørelse, når en tredjepart i afgørende grad lægger vægt på den.\n\nDen centrale fejlmåde er stempelgodkendelse. Automatiseringsbias og godkendelsestræthed får den, der godkender hundredvis af rutineanmodninger, til at holde op med at læse dem, så godkendelsesraten nærmer sig 100 %, og kontrollen bliver til teater. Effektive design kræver godkendelse efter risiko frem for som standard, viser den konkrete foreslåede handling (den præcise e-mail, SQL-sætning, diff eller betaling med parametre og de kilder, der førte til den) frem for et resumé skrevet af den samme model, gør afvisning og redigering lige så let som godkendelse, afviser som standard ved timeout og logger, hvem der godkendte hvad, af hensyn til revision.\n\nFor agenter kræver implementeringen, at forløbet kan sættes på pause midtvejs: orkestreringen gemmer tilstanden ved det kontrollerede værktøjskald, lægger det i en godkendelseskø og genoptager med menneskets beslutning indsat som værktøjsresultat. Bemærk begrænsningerne. HITL forhindrer ikke prompt injection; det giver et menneske en chance for at opdage virkningen, hvilket kun virker, hvis den ondsindede handling er synlig i det, der vises. Det tilføjer også latenstid og omkostning og supplerer derfor sandkasser og mindste privilegium frem for at erstatte dem."},"edges":[{"type":"mitigates","to":"ai/excessive-agency","why":{"en":"Requiring approval for risky actions means an agent cannot do real damage on its own, even if it has been given too much power.","da":"Når risikable handlinger skal godkendes af et menneske, kan en agent ikke gøre reel skade på egen hånd, selv hvis den har fået for meget magt."},"confidence":"high","strength":"primary"},{"type":"mitigates","to":"ai/prompt-injection","why":{"en":"A person who sees the planned action can stop an agent that has been tricked by hidden orders, even though the trick itself still worked.","da":"En person, der ser den planlagte handling, kan stoppe en agent, der er narret af skjulte ordrer, selv om tricket i sig selv virkede."},"confidence":"medium","strength":"normal"},{"type":"used-with","to":"ai/multi-agent-system","confidence":"high","strength":"normal"}],"depth":0,"sources":[{"title":"Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 14 - Human oversight","tier":"standard","publisher":"European Union"},{"title":"OWASP Top 10 for LLM Applications 2025 (LLM06 Excessive Agency)","tier":"reference","publisher":"OWASP"},{"title":"NIST AI 100-1 - Artificial Intelligence Risk Management Framework (AI RMF 1.0)","tier":"standard","publisher":"NIST"},{"title":"European Commission (2026), AI Omnibus enters into force","url":"https://digital-strategy.ec.europa.eu/en/news/ai-omnibus-enters-force","tier":"official-doc","publisher":"European Commission"}],"draft":true}