Retrieval-augmented generation (RAG)

Den oprindelige RAG-model (Lewis m.fl., 2020) blev trænet samlet: En Dense Passage Retriever (DPR), en bi-encoder, udvalgte afsnit fra et Wikipedia-indeks med omkring 21 millioner bidder på 100 ord, og en BART-sekvens-til-sekvens-generator betingede på dem, enten på de samme afsnit for hele svaret (RAG-Sequence) eller ved at marginalisere over afsnit for hvert token (RAG-Token). I dag betyder begrebet næsten altid et løsere ingeniørmønster, hvor en færdig søgekomponent og en færdig LLM kun kobles via prompten uden fælles træning.

En produktionspipeline har en offline- og en online-halvdel. Offline: Kildeformater (PDF, HTML, Office) parses og opdeles i bidder, ofte på et par hundrede tokens med lidt overlap og tilpasset overskrifter; der tilføjes metadata (kilde, dato, ejer, adgangsliste), hver bid embeddes og skrives til et vektorindeks, ofte sammen med et BM25-nøgleordsindeks. Online: Brugerens forespørgsel omskrives eventuelt, vektor- og nøgleordssøgning køres parallelt, de rangerede lister flettes (reciprocal rank fusion er et udbredt valg), en cross-encoder genrangerer de bedste kandidater, der filtreres efter brugerens rettigheder, og de bedste bidder pakkes ind i prompten med kilde-ID'er og en instruktion om kun at svare ud fra dem og citere. Agentiske varianter lader modellen udføre flere søgninger iterativt i stedet for én fast søgning.

Kvalitetsproblemer deler sig klart i søgefejl og genereringsfejl, og de skal måles hver for sig. Søgningen evalueres med recall@k eller lignende på et sæt mærkede spørgsmål: Hvis den rigtige bid ikke hentes, kan ingen promptformulering redde svaret. Typiske årsager er dårlige grænser mellem bidder, der skiller en regel fra dens undtagelse, tabeller, der fladgøres til støj, forespørgsler med andet ordforråd end dokumenterne, og forældede eller dublerede versioner, der rangerer over den gældende. Genereringen evalueres for tro gengivelse (har hver påstand støtte i den hentede kontekst) og relevans; fejlene omfatter at ignorere konteksten til fordel for indlært viden, at flette to kilder forkert og at svare selvsikkert, når søgningen intet brugbart fandt.

Sikkerhedsegenskaberne følger af, at hentet tekst kommer ind i kontekstvinduet på lige fod med al anden tekst. Rettighedsfiltrering skal ske ved forespørgslen ud fra brugerens identitet, ikke ved indeksering med en servicekonto, ellers bliver assistenten en vej til at læse dokumenter, brugeren ikke selv kan åbne. Ethvert dokument, en udenforstående kan påvirke - en indgående mail, en PDF fra en leverandør, en offentlig webside - er en vej ind for indirekte prompt injection, og forgiftede dokumenter kan laves, så de rangerer højt på bestemte forespørgsler. OWASP's LLM Top 10 fra 2025 behandler dette under LLM01 Prompt Injection og LLM08 Vector and Embedding Weaknesses. Da indekset er en kopi af kildedataene, skal sletning og opbevaringsregler også slå igennem dér.