{"licence":{"name":"CC BY-SA 4.0","spdx":"CC-BY-SA-4.0","url":"https://creativecommons.org/licenses/by-sa/4.0/","attribution":"Atlas, a bilingual technical dictionary (https://cmaintz.github.io/tech-atlas/)"},"id":"ai/deepfake","url":{"en":"https://cmaintz.github.io/tech-atlas/en/terms/ai/deepfake/","da":"https://cmaintz.github.io/tech-atlas/da/terms/ai/deepfake/"},"term":{"en":"Deepfake","da":"Deepfake"},"aka":{"en":["voice clone","synthetic media"],"da":["stemmekloning","syntetiske medier"]},"domain":["ai","security"],"cluster":"ai-risk","layer":"people","status":"current","era":2017,"summary":{"en":"A fake but convincing video, image or voice recording made with AI to show someone saying or doing what they never did.","da":"Falsk, men overbevisende video, billede eller stemme lavet med AI, der viser nogen sige eller gøre noget, de aldrig har gjort."},"body":{"formal":{"en":"Media created or altered with deep learning so that a real person's face, body or voice appears in content they did not make, realistic enough to pass as a true recording.","da":"Medier skabt eller ændret med deep learning, så en virkelig persons ansigt, krop eller stemme optræder i indhold, personen ikke har lavet, og realistisk nok til at gå for en ægte optagelse."},"plain":{"en":"Like a perfect mask and a perfect voice impression in one - except anyone with a laptop and a few minutes of someone's voice can now make one.","da":"Som en perfekt maske og en perfekt efterligning af en stemme på én gang - bortset fra, at alle med en bærbar og få minutters optagelse af nogens stemme nu kan lave den."},"inPractice":{"en":"A payroll clerk at a Danish shipping company joins a video call where the “finance director” and several colleagues are all fakes, and on their orders transfers several million kroner to foreign accounts.","da":"En lønbogholder i et dansk rederi deltager i et videomøde, hvor “økonomidirektøren” og flere kolleger alle er falske, og overfører på deres ordre flere millioner kroner til udenlandske konti."},"whyItMatters":{"en":"Seeing and hearing someone is no longer proof it is them, so payment and approval steps must be checked another way; the EU AI Act also requires deepfakes to be labelled.","da":"At se og høre en person er ikke længere bevis for, at det er dem, så betalinger og godkendelser skal bekræftes ad en anden vej; EU's AI-forordning kræver også, at deepfakes mærkes."}},"deepDive":{"en":"The term comes from a Reddit user named \"deepfakes\" who in late 2017 published face swaps built on a shared-encoder, dual-decoder autoencoder: one encoder learns a common latent representation of faces, two decoders learn to reconstruct person A and person B, and swapping decoders renders A's expression with B's identity. GANs and StyleGAN later made synthetic faces photorealistic; since about 2022 latent diffusion models and video diffusion dominate image and video generation, and neural codec language models for speech, such as Microsoft's VALL-E (2023), showed that a few seconds of enrolment audio can be enough to imitate a voice. Real-time face and voice conversion now runs on consumer GPUs, which enables live impersonation in video calls rather than only pre-rendered clips.\n\nThe fraud pattern is business email compromise with a stronger prop. In the widely reported 2024 Arup case in Hong Kong, an employee transferred about HK$200 million after a video conference in which the CFO and other participants were synthetic. Voice clones and synthetic faces are also used in \"family emergency\" calls and against remote identity proofing. The countermeasure is procedural: out-of-band callback to a number from an independent directory, dual approval for payments and changes of bank details, and code words for high-risk requests. For identity proofing, liveness checks and presentation-attack detection (ISO/IEC 30107-3) must also consider injection attacks, where a virtual camera feeds synthetic video directly into the capture pipeline.\n\nDetection is an arms race. Classifiers trained on artefacts of one generator generalise poorly to new generators and degrade under compression and re-encoding, so detector scores should be treated as weak evidence. Provenance is the complementary approach: C2PA Content Credentials cryptographically bind a signed manifest of capture and edit history to a file, and watermarking schemes such as Google DeepMind's SynthID embed a signal in generated output; both can be stripped or be absent, so a missing credential proves nothing.\n\nThe EU AI Act defines a deepfake in Art. 3(60) as AI-generated or manipulated image, audio or video content that resembles existing persons, objects, places, entities or events and would falsely appear authentic. Art. 50(2) requires providers of generative systems to mark synthetic output in a machine-readable, detectable format, and Art. 50(4) requires deployers who publish deepfakes to disclose that the content is artificially generated or manipulated, with a lighter duty for evidently artistic, satirical or fictional works. These transparency duties apply from 2 August 2026; the 2026 Digital Omnibus (Regulation (EU) 2026/1744) gives systems already on the market until 2 December 2026 for the Art. 50(2) marking duty and adds a prohibition on AI systems for generating non-consensual intimate imagery. GDPR applies to a real person's likeness and voice as personal data, and Denmark has proposed amending its Copyright Act (ophavsretsloven) to give individuals a right over realistic digital imitations of their face and voice.","da":"Ordet stammer fra en Reddit-bruger ved navn \"deepfakes\", der i slutningen af 2017 offentliggjorde ansigtsbytninger bygget på en autoencoder med fælles encoder og to decodere: encoderen lærer en fælles latent repræsentation af ansigter, de to decodere lærer at genskabe henholdsvis person A og person B, og ved at bytte decoder gengives A's mimik med B's identitet. GAN'er og senere StyleGAN gjorde syntetiske ansigter fotorealistiske; siden omkring 2022 har latente diffusionsmodeller og videodiffusion domineret billed- og videogenerering, og neurale codec-sprogmodeller til tale som Microsofts VALL-E (2023) viste, at få sekunders lydoptagelse kan være nok til at efterligne en stemme. Ansigts- og stemmekonvertering i realtid kører nu på almindelige grafikkort, hvilket muliggør live-efterligning i videomøder og ikke kun færdigrenderede klip.\n\nSvindelmønstret er direktørsvindel (business email compromise) med en stærkere rekvisit. I den meget omtalte Arup-sag i Hongkong i 2024 overførte en medarbejder omkring 200 millioner HK$ efter et videomøde, hvor økonomidirektøren og de øvrige deltagere var syntetiske. Stemmekloner og syntetiske ansigter bruges også i \"nødsituation i familien\"-opkald og mod fjernidentifikation. Modtrækket er procedurer: tilbageringning til et nummer fra en uafhængig kilde, dobbeltgodkendelse af betalinger og ændringer af kontooplysninger og kodeord ved forespørgsler med høj risiko. Ved identitetssikring skal liveness-tjek og detektion af præsentationsangreb (ISO/IEC 30107-3) også tage højde for injektionsangreb, hvor et virtuelt kamera sender syntetisk video direkte ind i optagelsesflowet.\n\nDetektion er et våbenkapløb. Klassifikatorer trænet på artefakter fra én generator generaliserer dårligt til nye generatorer og forringes af komprimering og genkodning, så en detektors score bør behandles som svag evidens. Proveniens er den komplementære tilgang: C2PA Content Credentials binder kryptografisk et signeret manifest over optagelses- og redigeringshistorik til filen, og vandmærkning som Google DeepMinds SynthID indlejrer et signal i genereret output; begge dele kan fjernes eller mangle, så en manglende attest beviser intet.\n\nAI-forordningen definerer i art. 3, nr. 60, en deepfake som AI-genereret eller manipuleret billed-, lyd- eller videoindhold, der ligner eksisterende personer, genstande, steder, enheder eller begivenheder og fejlagtigt vil fremstå som ægte. Art. 50, stk. 2, kræver, at udbydere af generative systemer mærker syntetisk output i et maskinlæsbart og detekterbart format, og art. 50, stk. 4, kræver, at idriftsættere, der offentliggør deepfakes, oplyser, at indholdet er kunstigt genereret eller manipuleret, med en lempeligere pligt for åbenlyst kunstneriske, satiriske eller fiktive værker. Disse gennemsigtighedskrav gælder fra 2. august 2026; Digital Omnibus-ændringen fra 2026 (forordning (EU) 2026/1744) giver systemer, der allerede er på markedet, frist til 2. december 2026 for mærkningspligten i art. 50, stk. 2, og indfører et forbud mod AI-systemer til at generere intime billeder uden samtykke. GDPR gælder for en virkelig persons udseende og stemme som personoplysninger, og i Danmark er det foreslået at ændre ophavsretsloven, så den enkelte får en ret over realistiske digitale efterligninger af sit ansigt og sin stemme."},"edges":[{"type":"requires","to":"ai/deep-learning","confidence":"high","strength":"normal"},{"type":"requires","to":"ai/generative-ai","why":{"en":"Deepfakes are made with generative AI.","da":"Deepfakes laves med generativ AI."},"confidence":"medium","strength":"normal"},{"type":"used-with","to":"security/vishing","why":{"en":"A cloned voice of a boss or relative makes a fraud phone call far more believable.","da":"En klonet stemme fra en chef eller et familiemedlem gør et svindelopkald langt mere troværdigt."},"confidence":"high","strength":"primary"},{"type":"used-with","to":"security/phishing","why":{"en":"Fake video or voice messages are added to phishing to make the request look real.","da":"Falske video- eller stemmebeskeder føjes til phishing for at få anmodningen til at virke ægte."},"confidence":"medium","strength":"normal"},{"type":"used-with","to":"security/social-engineering","why":{"en":"A deepfake is a convincing new prop for pretending to be someone the victim trusts.","da":"En deepfake er et nyt og overbevisende redskab til at udgive sig for at være en, offeret stoler på."},"confidence":"high","strength":"normal"},{"type":"used-with","to":"ai/diffusion-model","why":{"en":"Most realistic fake images and videos today are made with diffusion models.","da":"De fleste realistiske falske billeder og videoer i dag laves med diffusionsmodeller."},"confidence":"medium","strength":"normal"}],"depth":3,"sources":[{"title":"Regulation (EU) 2024/1689 (AI Act), Article 50 - transparency obligations","url":"https://eur-lex.europa.eu/eli/reg/2024/1689/oj","tier":"standard","publisher":"European Union"},{"title":"ENISA Threat Landscape","url":"https://www.enisa.europa.eu/topics/cyber-threats/threat-landscape","tier":"reference","publisher":"ENISA"}],"draft":true}