Tokenizer

En moderne tokenizer er en pipeline: Unicode-normalisering (fx NFC eller NFKC), prætokenisering, der deler teksten i ordlignende stykker med et regulært udtryk (adskiller bogstaver, cifre, tegnsætning og mellemrum), selve subword-modellen og efterbehandling, der tilføjer særlige tokens. Afkodning vender afbildningen om. Da ordforråd og fletteregler læres fra et eksempelkorpus før fortræningen, og modellens embedding-matrix er indekseret efter dem, er tokenizeren låst i hele modellens levetid; at ændre den kræver gentræning eller en dyr procedure for tilpasning af ordforrådet.

Tre subword-algoritmer dominerer. Byte-pair encoding, tilpasset neural maskinoversættelse af Sennrich m.fl. (2016), starter fra tegn og fletter gentagne gange det hyppigste nabopar og gemmer rækkefølgen af fletninger; kodning afspiller dem igen. Byte-level BPE, introduceret med GPT-2, starter fra de 256 byteværdier i stedet for tegn, så ethvert input - ethvert skriftsystem, emoji eller binært affald - kan kodes uden et ukendt-token. WordPiece, som BERT bruger, vælger fletninger efter gevinst i likelihood frem for rå hyppighed. Unigram-sprogmodelmetoden (Kudo, 2018) starter fra et stort ordforråd af kandidater og beskærer det, hvilket tillader probabilistisk opdeling; den bruges typisk via biblioteket SentencePiece (Kudo & Richardson, 2018), der behandler tekst som en rå tegnstrøm og markerer mellemrum med et særligt symbol, så der ikke kræves en sprogspecifik prætokenisering.

Tokenisering forklarer en række af modellernes svagheder. Modellen ser aldrig bogstaverne inde i et token, så stavning, optælling af bogstaver, at vende strenge og at finde rim er sværere, end det ser ud. Tal, der deles i uregelmæssige stykker, skader regning, og derfor deler nogle tokenizere cifre enkeltvis eller i faste grupper. Foranstillede mellemrum giver forskellige tokens (" Paris" og "Paris" er forskellige), så et mellemrum til sidst i en prompt kan flytte output. Tokens, der var hyppige i tokenizerens træningskorpus, men sjældne i modellens træningsdata, får dårligt trænede embeddings - fænomenet "glitch tokens", kendt fra 2023 med strenge som "SolidGoldMagikarp", der fik modeller til at opføre sig uberegneligt.

Der er konsekvenser for sikkerhed og drift. Nøgleords- eller bloklistefiltre, der arbejder på ord, kan omgås med homoglyffer, nulbredde-tegn, usædvanlig afstand eller kodninger, der tokeniseres anderledes, men som modellen stadig forstår; filtre bør normalisere input og helst bygge på klassifikatorer på modelniveau frem for strengmatchning. Særlige tokens skal behandles som kontroltegn: Den encoder, der bruges på upålidelig tekst, skal nægte at udsende dem, ellers kan en bruger forfalske chatskabelonens skilletegn. Til prisoverslag skal man altid bruge tokenizeren for den præcise målmodel, for antallet for den samme tekst varierer mellem modelfamilier og nogle gange mellem generationer i samme familie.