AI-hardware og drift
At træne en lille “elev”-model til at efterligne svar fra en stor “lærer”-model, så den bevarer meget af evnen i langt mindre format.
Formelt
En form for modeltræning, hvor en mindre elevmodel lærer af det fulde output fra en større lærermodel - den chance, den giver hvert muligt svar, ikke kun dens førstevalg - eller af tekst, læreren skriver, i stedet for kun af mærkede træningsdata.
Forklaret enkelt
Som en elev, der ikke kun lærer, hvilket svar læreren vælger, men også hvor sikker læreren er på hver mulighed, og ender næsten lige så dygtig efter langt mindre læsning.
I praksis
En dataforsker i Skattestyrelsen lader en stor model besvare 100.000 typiske spørgsmål om fradrag og træner derefter en lille model på svarene, så selvbetjeningschatten kører billigt på styrelsens egne servere.
Hvorfor det betyder noget
Det er sådan, mange hurtige, billige modeller bliver lavet, og det betyder også, at en konkurrent kan kopiere meget af en models evne blot ved at samle dens svar - derfor forbyder mange udbydere det i deres vilkår.