Embedding-model vs. Stor sprogmodel (LLM)

Hvorfor de er forskellige

Begge læser tekst, men en embedding-model returnerer én liste af tal, mens en stor sprogmodel skriver ny tekst.

Genfinding og søgning

En model, der læser et stykke tekst og giver en embedding tilbage i stedet for at skrive et svar.

Formelt

Et neuralt netværk, som regel en transformer, der er trænet, så tekster med nær betydning kommer ud som embeddings, der scorer højt på cosinuslighed; det laver både gemte dokumenter og indkommende spørgsmål om til embeddings.

Forklaret enkelt

Som en vinsmager, der sætter et kryds for hver vin på det samme smagsskema - let til tung, sød til tør - uden nogensinde at fortælle, hvad der står på etiketten.

I praksis

En udvikler i et dansk softwarehus kører en pensionskasses 3.000 hjælpesider gennem en embedding-model én gang, gemmer resultaterne og kører hvert medlems spørgsmål gennem samme model, når der søges.

Hvorfor det betyder noget

Skifter man til en ny, skal alle gemte embeddings laves om, da tallene fra to forskellige modeller ikke kan sammenlignes - og en model, der er svag i dansk, giver svag dansk søgning.

Stor sprogmodel (LLM)

Sprogmodeller

En meget stor model, trænet på enorme mængder tekst til at forudsige det næste ord, så den kan skrive, opsummere og svare i flydende sprog.

Formelt

En deep learning-model, typisk en transformer med milliarder af vægte, trænet på enorme tekstsamlinger til at forudsige det næste token; den samme evne, gentaget, lader den skrive lange svar på en prompt.

Forklaret enkelt

Som ordforslagene på en mobiltelefons tastatur, bare trænet på en stor del af internettet - den ved, hvordan svar plejer at lyde, ikke om de er sande.

I praksis

Medarbejderne i en kommune får en chatassistent bygget på en LLM til at skrive udkast til svar til borgere og opsummere mødenoter, og IT-afdelingen må beslutte, hvilke data de må indsætte i den.

Hvorfor det betyder noget

LLM'er lyder sikre, selv når de tager fejl, kan styres af skjult tekst og sender dit input til den, der driver dem - alt sammen reelle risici, der skal vejes før brug.

Fælles forbindelser

Transformer