Gå til indhold
atlas

Forveksl ikke disse

Hyperparameter vs. Modelparameter

Hvorfor de er forskellige

En hyperparameter sættes af mennesker før træningen; en modelparameter læres af modellen under træningen.

Hyperparameter

Træning og optimering

En indstilling, et menneske vælger, før modeltræningen starter - fx skridtstørrelse eller antal runder - som modellen ikke selv lærer.

Formelt

En værdi, der former, hvordan modeltræningen kører, eller hvor stor modellen er, og som fastsættes udefra i stedet for at læres fra træningsdata; den justeres ved at prøve værdier og sammenligne resultater på et valideringssæt.

Forklaret enkelt

Som ovnvarmen og bagetiden, du sætter, før kagen kommer ind - kagen vælger dem ikke, men de afgør, hvordan den bliver.

I praksis

En dataanalytiker i en kommune kører tyve korte træningsjob over natten på en model, der skal forudsige behovet for hjemmepleje, med hver sin skridtstørrelse og batchstørrelse, og beholder den kombination, der klarer sig bedst på tilbageholdte sager.

Hvorfor det betyder noget

Samme model og data kan give et stærkt eller ubrugeligt resultat afhængigt af disse indstillinger, og at afsøge dem ganger prisen for træningen op.

Modelparameter

Træning og optimering

Et af de tal inde i en model, der fastsættes ved at lære af data; antallet af dem er den måde, modelstørrelse normalt opgives på.

Formelt

En intern værdi i en model - mest modelvægtene plus små forskydningsværdier - som modeltræning justerer for at mindske tabet; en stor sprogmodel kan have milliarder af dem.

Forklaret enkelt

Som stenene i en kæmpe mosaik - ingen enkelt sten betyder meget, men tilsammen danner deres farver billedet, og flere sten giver finere detaljer.

I praksis

En IT-indkøber i en kommune sammenligner en “7B”- og en “70B”-model til en intern assistent; tallene er milliarder af modelparametre og giver et groft bud på hukommelsesbehov, driftspris og evner.

Hvorfor det betyder noget

Antallet af parametre styrer, hvor meget hardware, energi og penge en model kræver at træne og køre, og flere parametre er ingen garanti for et bedre resultat på en given opgave.

Fælles forbindelser

Atlas er i beta.