Decoder vs. Encoder

Hvorfor de er forskellige

En encoder læser hele inputtet i begge retninger for at forstå det; en decoder kigger kun tilbage og skriver nye tokens ét efter ét.

Decoder

Modelarkitekturer

Den halvdel af en model, der skriver output ét token ad gangen, hvor hvert nyt token kun bygger på det, der kom før.

Formelt

En stak af lag i et neuralt netværk, hvor hvert token kun må kigge på tidligere tokens, så stakken kan gætte næste token, føje det til teksten og gentage; rene decoder-designs dropper encoderen helt.

Forklaret enkelt

Som en historiefortæller ved lejrbålet, der kan høre alt, hvad der er sagt indtil nu, men aldrig kigger frem, og lægger ét ord til ad gangen.

I praksis

En produktejer i en webshop ser, at produkttekster, der er dobbelt så lange, tager omtrent dobbelt så lang tid at lave og koster det dobbelte, fordi decoderen skal frembringe hvert token for sig.

Hvorfor det betyder noget

Næsten alle store sprogmodeller er rene decodere, og derfor kommer svar gradvist, og derfor er det svarets længde, ikke kun spørgsmålets, der driver prisen.

Encoder

Modelarkitekturer

Den halvdel af en model, der læser hele inputtet på én gang og gør det til embeddings, som fanger betydningen.

Formelt

En stak af lag i et neuralt netværk, der tager en hel række tokens og, ved at lade hvert token kigge både frem og tilbage, laver én embedding pr. token til brug i de næste trin.

Forklaret enkelt

Som en tolk, der hører hele sætningen, før hun siger noget, fordi et ord helt til sidst kan ændre, hvad det første betød.

I praksis

Hos et fjernvarmeselskab sorterer en IT-udvikler indgående kundemails med en ren encoder-model som BERT, der læser hver besked i sin helhed og mærker den “regning”, “fejl” eller “flytning”.

Hvorfor det betyder noget

Encodere klarer søgning og sortering billigt, men kan ikke skrive ny tekst, så kender man forskellen, kan man vælge et mindre og hurtigere værktøj, når opgaven kun er at forstå tekst.

Fælles forbindelser

Attention-mekanisme Token Transformer