Forankring (grounding)
Også kendt som: forankret generering
At binde en models svar til kilder, der gives med spørgsmålet, så hver påstand kan føres tilbage til et bestemt dokument.
Kladde - dette opslag er endnu ikke gennemgået.
Formelt
Praksissen med at lægge troværdig kildetekst i kontekstvinduet og bede modellen om kun at svare ud fra den, ofte med henvisning til afsnittet bag hver påstand og med besked, når kilderne ikke dækker spørgsmålet.
Forklaret enkelt
Som en studerende, der skriver en opgave, hvor hver påstand skal nævne den bog og side, den stammer fra - står det ikke i nogen bog, kommer det ikke med.
I praksis
En a-kasses medlemschat besvarer et spørgsmål om feriedagpenge ved at citere punkt 4.2 i a-kassens regler med et link og svarer “det dækker reglerne ikke”, når intet passer, og sender sagen videre til en sagsbehandler.
Hvorfor det betyder noget
Svar, som en person kan føre tilbage til en navngiven kilde, er langt lettere at stole på og efterprøve, selvom modellen stadig kan misforstå eller strække en kilde.
Teknisk uddybning
Ordet har flere betydninger. I kognitionsvidenskaben spørger symbol grounding-problemet (Harnad, 1990), hvordan symboler får betydning gennem forbindelse til sanseindtryk; i forskning i billede og sprog betyder "visual grounding" at finde det område i et billede, som en frase henviser til. I LLM-applikationer betyder det kildeforankret generering: Svaret skal følge af og kunne tilskrives tekst, der leveres ved inferens, frem for modellens parametriske hukommelse. Rashkin m.fl. formaliserede det som "attributable to identified sources" (AIS): En påstand kan tilskrives, hvis en almindelig læser, der får vist kilden, vil give ret i, at kilden understøtter den.
En forankret pipeline har tre dele. Kontekstopbygningen giver hver fundet passage en stabil identifikator og metadata (dokument, version, afsnit, URL) og lægger dem i prompten, typisk adskilt fra instruktionerne med skilletegn. Instruktionen kræver, at hver påstand henviser til passage-identifikatorer, forbyder oplysninger, der ikke står i passagerne, og fastlægger et svar, der melder pas, når dækningen ikke er tilstrækkelig. Verifikationen kontrollerer derefter outputtet: Henvisningerne parses, det bekræftes, at de citerede identifikatorer findes, og understøttelsen testes påstand for påstand, typisk ved at dele svaret op i atomare påstande og køre en entailment-model (NLI) eller en LLM-dommer mod den citerede passage. Nogle platforme stiller det til rådighed som et indbygget "grounding check" eller returnerer understøttelsesscorer pr. sætning; søgeforankrede API'er vedhæfter webresultater og citatudsnit til svaret.
Evalueringen skelner mellem citation recall (understøttes hver påstand af sine henvisninger?) og citation precision (er hver henvisning nødvendig og relevant?), de mål, der bruges i ALCE-benchmarket (Gao m.fl., 2023), og mellem trofasthed over for kilden og svarets korrekthed. Et svar kan være fuldstændig tro mod en forældet eller forkert kilde, og det kan være korrekt, men uforankret, fordi modellen svarede ud fra hukommelsen. Begge dele betyder noget, men kun trofastheden er under applikationens kontrol, når retrieval-trinnet ligger fast.
Typiske fejl er henvisninger til en rigtig passage, der faktisk ikke siger det påståede, sammenblanding af to kilder til et udsagn, ingen af dem kommer med, stille brug af parametrisk viden, når søgningen ikke finder noget relevant, svagere udnyttelse af passager midt i en lang kontekst og tilfældig afgørelse af modstrid mellem kilder. Forankring gør heller ikke kilderne troværdige: Et fundet dokument kan bære prompt injection, så passager skal behandles som data og ikke som instruktioner. NIST AI 600-1 nævner confabulation blandt de risici, der er særlige for generativ AI, og forankring med visning af kilder og menneskelig kontrol af de citerede passager er en af de praktiske kontroller mod det, ikke en garanti.
Hvad du bør lære først
Alt det, dette bygger på - grundlaget først.
- Token
- →Kontekstvindue
- →Transformer
- →Stor sprogmodel (LLM)
- →Forankring (grounding)
Relationer
- Forudsætter
- Stor sprogmodel (LLM)Kontekstvindue
- Afbøder
- Hallucination
- Bruges sammen med
- Retrieval-augmented generation (RAG)
Kilder og videre læsning
Standarder og officielle tekster
- NIST AI 600-1 - Artificial Intelligence Risk Management Framework, Generative AI Profile · NIST
Opslagsværker
- Gao et al. (2023), Enabling Large Language Models to Generate Text with Citations
Hvor dataene kommer fra
Dette opslag er skrevet af en AI ud fra kilderne ovenfor og er endnu ikke gennemgået af et menneske. Brug det som udgangspunkt, og tjek alt vigtigt mod kilderne.
Se gennemgangskøenForeslå en rettelse på GitHubDette begreb som JSON
Test dig selv
Indlæser…