Generativ AI

Teknisk set lærer en generativ model en tilnærmelse af datafordelingen p(x), eller en betinget fordeling p(x | c) givet en prompt c, som nye eksempler kan trækkes fra; en diskriminativ model som en klassifikator lærer kun p(y | x). Fire familier står for de fleste systemer. Autoregressive modeller faktoriserer p(x) som et produkt af betingede fordelinger p(xₜ | x₁, …, xₜ₋₁) og genererer ét token ad gangen; decoder-only-transformere trænet på forudsigelse af næste token er grundlaget for store sprogmodeller og kodeassistenter. Variational autoencodere (Kingma og Welling, 2013) lærer et latent rum med en encoder og en decoder, der trænes på en nedre grænse for likelihood. Generative adversarial networks (Goodfellow m.fl., 2014) sætter en generator op mod en diskriminator i et minimax-spil; de giver skarpe billeder, men er ustabile at træne og tilbøjelige til mode collapse. Diffusionsmodeller (Ho m.fl., 2020, bygget på tidligere scorebaseret arbejde) lærer at vende en gradvis støjproces om og genererer ved gentagen støjfjernelse; latent diffusion gør dette i et komprimeret latent rum, og beslægtede flow matching-metoder er nu udbredte til billeder, video og lyd.

Resultatet afhænger lige så meget af afkodningen som af modellen. Sprogmodeller sampler fra den forudsagte tokenfordeling med indstillinger som temperatur og nucleus-sampling (top-p) (Holtzman m.fl., 2019); billedmodeller bruger classifier-free guidance til at bytte variation for tættere overensstemmelse med prompten. Grådig afkodning eller lav temperatur mindsker tilfældigheden, men ikke faktuelle fejl, fordi modellen optimerer for det sandsynlige, ikke det sande; hallucination er en strukturel egenskab, som afhjælpes ved at forankre output i fremfundne kilder, begrænse outputformatet og verificere.

De fleste udrullede generative systemer er foundation models, der er fortrænet med selvsupervision på data i webskala og derefter eftertrænet med instruction tuning og præferenceoptimering (RLHF eller direkte præferencemetoder), så de følger instruktioner og afviser visse forespørgsler. Multimodale modeller kombinerer encodere eller decodere til tekst, billeder og lyd i ét system.

Risikobilledet er særegent. NIST AI 600-1 (juli 2024), Generative AI-profilen til AI RMF, opstiller tolv risikokategorier, herunder konfabulation, informationsintegritet, informationssikkerhed, databeskyttelse, immaterielle rettigheder, skadelig bias og homogenisering samt værdikæde og komponentintegration. Sikkerhedsproblemerne omfatter prompt injection, udtrækning af træningsdata, jailbreaks og misbrug til phishing, malware eller deepfakes. AI-forordningens artikel 50 fastsætter gennemsigtighedsforpligtelser: Udbydere af systemer, der genererer syntetisk lyd, billeder, video eller tekst, skal mærke output i et maskinlæsbart format, så det kan opdages, og idriftsættere af deepfakes skal oplyse, at indholdet er kunstigt genereret eller manipuleret. Oprindelsesstandarder som C2PA content credentials og statistisk vandmærkning er de vigtigste tekniske midler, og begge kan fjernes eller forringes, så detektion af AI-genereret indhold er fortsat upålidelig.