Multimodal model

Fire arkitekturfamilier er i brug. Dobbelte encodere som CLIP (Radford m.fl., 2021) træner en billedencoder og en tekstencoder med et symmetrisk kontrastivt tab (InfoNCE) på omkring 400 millioner par af billeder og billedtekster, så sammenhørende par får høj cosinuslighed; de genererer ikke tekst, men muliggør zero-shot-klassifikation og søgning på tværs af modaliteter, og SigLIP erstattede senere softmax med et parvist sigmoid-tab. Cross-attention-modeller som Flamingo (2022) beholder en frossen sprogmodel og indsætter gatede cross-attention-lag, der læser de visuelle features. Det nu dominerende late fusion- eller "adapter"-design, som LLaVA (2023) gjorde populært, tager en fortrænet billedencoder, afbilder dens patch-embeddings via en lille projektion ind i sprogmodellens token-embedding-rum og giver dem til decoderen, som om de var almindelige tokens. Early fusion-modeller som Chameleon (2024) tokeniserer billeder til diskrete koder og træner én transformer på sammenflettede sekvenser fra starten.

Billeder bliver til tokens via en Vision Transformer: Et billede på 224 × 224 pixel delt i felter på 14 × 14 pixel giver 16 × 16 = 256 patch-embeddings. Input i høj opløsning håndteres ved opdeling i fliser eller dynamisk opløsning, så ét skærmbillede eller én scannet side kan koste hundreder til tusinder af tokens, hvilket dominerer ventetid og pris ved dokumentopgaver. Lyd kodes typisk med en encoder i Whisper-stil over log-mel-spektrogrammer, og video samples som enkeltbilleder, hvilket hurtigt mangedobler antallet af tokens. På outputsiden sender mange systemer stadig billedgenerering videre til en separat diffusionsmodel, mens "any-to-any"-modeller genererer diskrete billed- eller lydtokens direkte.

De typiske fejlmønstre adskiller sig fra rene tekstmodeller. Objekthallucination (beskrivelse af ting, der ikke er i billedet), fejl i optælling, rumlige forhold, lille tekst og værdier i diagrammer samt for selvsikker aflæsning af håndskrift er veldokumenterede, og derfor kræver en models aflæsning af en plantegning eller faktura en regnekontrol eller et menneskeligt tjek. Typografiske angreb viste tidligt, at CLIP kunne styres af en håndskrevet seddel på en genstand, og OWASP Top 10 for LLM Applications 2025 nævner multimodal injektion, altså instruktioner skjult i billeder eller lyd, under LLM01 Prompt Injection; sådan tekst kan være usynlig for brugeren (lav kontrast, små skrifttyper, steganografi) og alligevel læsbar for modellen.

Set fra et governance-perspektiv rummer billeder og lyd ofte flere personoplysninger, end prompten antyder: ansigter, nummerplader, skærme i baggrunden, stemmer og EXIF-metadata som GPS-koordinater. Efter databeskyttelsesforordningen er et foto af en person en personoplysning, og ansigtsbilleder bliver først biometriske data i særlig kategori efter art. 9, når de behandles med særlige tekniske midler med henblik på entydig identifikation, så formålet med behandlingen har betydning for behandlingsgrundlaget.