Bias i AI vs. Hallucination

Hvorfor de er forskellige

Bias er en fast skævhed i resultaterne for bestemte grupper; en hallucination er et selvsikkert svar, der simpelthen er fundet på.

Bias i AI

AI-risiko og governance

Når et AI-system systematisk behandler nogle mennesker eller sager uretfærdigt på grund af skæve data eller valg i designet.

Formelt

En systematisk fejl, hvor en models resultater stiller bestemte grupper bedre eller dårligere, som regel fordi træningsdataene underrepræsenterer dem eller afspejler tidligere uretfærdige beslutninger, eller fordi målet er defineret skævt.

Forklaret enkelt

Som en ny leder, der kun har lært af én gammel chefs ansættelser - vedkommende kopierer alle vanerne, fair eller ej, og gør det i højt tempo.

I praksis

En kommune afprøver et AI-værktøj, der er trænet på mange års tidligere afgørelser og skal prioritere ledige til ekstra indsats, og opdager, at borgere fra bestemte postnumre havner lavere, selvom bopæl aldrig skulle tælle med.

Hvorfor det betyder noget

En uretfærdig skævhed gentages i hver eneste automatiske afgørelse, indtil nogen leder efter den, så den kan bryde ligebehandlings- og databeskyttelsesreglerne for tusindvis af mennesker, før nogen opdager det.

Hallucination

Sprogmodeller

Når en AI-model finder på noget, der ikke er sandt - et faktum, et citat, en kilde - og siger det lige så sikkert som et sandt svar.

Formelt

Flydende og troværdigt output, som hverken har støtte i input eller i fakta, fra en AI-model, der skaber ny tekst eller nye billeder; det opstår, fordi sådanne modeller er bygget til at skrive sandsynlig tekst, ikke tjekket sandhed.

Forklaret enkelt

Som en gæst til en fest, der aldrig indrømmer ikke at vide noget - spurgt om hvad som helst giver de et glat, detaljeret svar, uanset om det er sandt.

I praksis

En medarbejder i et ministerium beder en chatassistent om domme til støtte for et udkast til svar; den nævner tre, og et tjek viser, at ingen af sagerne findes.

Hvorfor det betyder noget

Svar, som modellen har fundet på, ligner nøjagtigt ægte svar, så alt AI-output, der bruges til beslutninger, rådgivning eller kode, kræver en person, der tjekker det.

Fælles forbindelser

Modelevaluering (evals)