Læringsrate

I stokastisk gradientnedstigning er opdateringen w <- w - eta * g, hvor g er tabets gradient på en minibatch, og eta er læringsraten. For gradientnedstigning på hele datasættet med et glat tab, hvis krumning er begrænset af L, garanterer enhver eta under 2/L, at hvert skridt sænker tabet, og derfor viser en for høj rate sig som svingninger eller et tab, der eksploderer til NaN, mens en for lav rate giver langsom fremgang eller fastlåsning på plateauer. Læringsrate og batchstørrelse påvirker hinanden: Goyal m.fl. (2017) trænede ImageNet-modeller med minibatches på 8.192 ved at skalere læringsraten lineært med batchstørrelsen og tilføje en gradvis opvarmning over de første epoker.

Skemaer ændrer eta i løbet af træningen. Almindelige skemaer er trinvis aftagning, eksponentiel aftagning, cosinus-annealing, one-cycle samt lineær opvarmning efterfulgt af aftagning, som er standard for transformere, fordi de tidlige opdateringer med en adaptiv optimeringsalgoritme er ustabile. Smith (2017) foreslog cykliske læringsrater, der svinger mellem to grænser, sammen med en læringsrate-test til at finde fornuftige grænser. PyTorch implementerer dem i torch.optim.lr_scheduler (fx StepLR, CosineAnnealingLR, OneCycleLR og LinearLR), som tages et skridt pr. batch eller pr. epoke afhængigt af skemaet.

Adaptive optimeringsalgoritmer beholder en global læringsrate, men skalerer den for hver parameter. Adam (Kingma og Ba, 2015) dividerer et løbende gennemsnit af gradienterne med kvadratroden af et løbende gennemsnit af de kvadrerede gradienter; artiklens standardværdier er en læringsrate på 0,001, beta1 = 0,9, beta2 = 0,999 og epsilon = 1e-8. Den adaptive skalering mindsker, men fjerner ikke, følsomheden over for grundraten, og den ændrer, hvordan weight decay virker, hvilket førte til AdamW. I praksis er læringsraten den første hyperparameter, man tuner, typisk på et logaritmisk gitter, og en rate, der virker til fortræning, er typisk for høj til finjustering, hvor værdier en eller to størrelsesordener mindre er almindelige.