Modelvægte (weights)

På disk er vægte et sæt navngivne tensorer - i PyTorch-termer en state_dict, der knytter navne som layers.0.self_attn.q_proj.weight til arrays - gemt sammen med en konfigurationsfil, der beskriver arkitekturen. Vægte kan ikke køre alene: den tilhørende modelkode, tokenizer og konfiguration skal bruges til at fortolke dem. Store modeller deles op i flere filer med et indeks. Det ældre PyTorch-format (.bin, .pt) er en Python-pickle, og udpakning af en pickle kan afvikle vilkårlig kode, hvilket gjorde ondsindede modelfiler til et praktisk angreb; PyTorch 2.6 ændrede torch.load til som standard at bruge weights_only=True. Formatet safetensors, en JSON-header efterfulgt af rå tensorbytes, kan ikke indeholde kode og kan memory-mappes for hurtig indlæsning. GGUF, der bruges af llama.cpp, pakker kvantiserede vægte og metadata i én fil, og ONNX gemmer beregningsgrafen sammen med vægtene.

Talformatet er en del af artefaktet. Træning holder typisk mastervægte i FP32 og regner i BF16; udgivne checkpoints er som regel BF16, og kvantiseringsmetoder som GPTQ eller AWQ laver 8-bit- eller 4-bit-versioner, der er mindre og hurtigere, men opfører sig en smule anderledes, så evalueringsresultater fra én præcision ikke automatisk gælder for en anden. Integriteten tjekkes med kryptografiske hashes af hver fil, og signeringsordninger for modelartefakter er på vej, så modtagere kan verificere, hvem der har produceret en fil.

Vægte er det koncentrerede resultat af træningsbudgettet og derfor et mål af høj værdi. En RAND-rapport fra 2024 definerede sikkerhedsniveauer for beskyttelse af vægte fra frontiermodeller mod aktører fra opportunistiske kriminelle til statslige programmer. Lækager er sket: Metas oprindelige LLaMA-vægte, der blev delt med godkendte forskere, dukkede op på 4chan inden for cirka en uge i marts 2023. Trusler mod integriteten er mere subtile end tyveri. Adfærd kan ændres ved at redigere vægtene direkte - demonstrationen PoisonGPT fra 2023 brugte modelredigeringsteknikken ROME til at få en åben model til at fremføre en bestemt usandhed og ellers opføre sig normalt - og bagdøre kan ikke findes ved at se på tallene. OWASP Top 10 for LLM Applications 2025 opfører den slags manipulerede eller forgiftede fortrænede modeller under LLM03 Supply Chain.

At offentliggøre vægte er ikke det samme som open source. Open Source Initiatives Open Source AI Definition 1.0 (2024) kræver ud over vægtene også træningskoden og tilstrækkeligt detaljerede oplysninger om træningsdata, og mange "open-weight"-licenser begrænser brugen på måder, definitionen ikke tillader. EU's AI-forordning fritager udbydere af AI-modeller til almen brug, der udgives under en fri open source-licens, og hvis vægte, arkitektur og brugsoplysninger er offentligt tilgængelige, fra pligterne til teknisk dokumentation i art. 53, stk. 1, litra a og b, men ikke hvis modellen udgør en systemisk risiko (art. 53, stk. 2). Vægte er den største delmængde af en models parametre; bias, normaliseringsskalaer og embedding-tabeller udgør resten.