Cosinuslighed

For vektorerne a og b er definitionen cos(a, b) = (a · b) / (‖a‖ ‖b‖) = Σ aᵢbᵢ / (√Σ aᵢ² · √Σ bᵢ²). Den er invariant over for positiv skalering af hver af vektorerne, og derfor blev den standard i vektorrumsmodellen for informationssøgning: Et langt dokument med samme fordeling af termer som et kort får samme score. Med ikke-negative vektorer som TF-IDF-vægte, som i den klassiske fremstilling hos Manning, Raghavan og Schütze, er intervallet 0 til 1; kun tætte embeddings med fortegnsbærende komponenter bruger hele intervallet fra −1 til 1. Pearson-korrelation er cosinus mellem middelværdicentrerede vektorer.

For L2-normaliserede vektorer er cosinuslighed lig med prikproduktet, og den kvadrerede euklidiske afstand er ‖a − b‖² = 2 − 2 cos(a, b), så rangering efter cosinus, indre produkt og euklidisk afstand giver samme rækkefølge. Det udnytter vektordatabaser: Normaliseres vektorerne ved indlæsning, kan de bruge en hurtig kerne til indre produkt. Ækvivalensen bryder sammen, hvis en model er trænet til unormaliseret indre produkt (DPR brugte fx det rå prikprodukt), eller hvis vektorer afkortes, som ved Matryoshka-embeddings, uden at blive normaliseret igen. Cosinusafstand, 1 − cos, bruges bredt som forskellighedsmål, men er ikke en egentlig metrik, fordi den bryder trekantsuligheden; vinkelafstand, arccos(cos)/π, er. Nogle indeksstrukturer forudsætter en metrik, hvilket er én grund til, at søgemaskiner gør afstandsfunktionen til en eksplicit indeksparameter, der skal passe til modellen.

Talværdien siger mindre, end det formelle interval antyder. Mange transformer-embeddings er anisotrope og optager en smal kegle af rummet (Ethayarajh, 2019), så urelaterede tekster kan stadig score 0,6 eller mere, og negative scorer er sjældne. Scorer kan derfor kun sammenlignes inden for samme model og version; en tærskel som "over 0,8 tæller som match" skal kalibreres pr. model på mærkede par og kan ikke overføres, når modellen skiftes. Steck, Ekanadham og Kallus (2024) viste, at cosinuslighed for visse lærte embeddings kan give vilkårlige resultater, fordi træningsmålet lader skaleringen af de enkelte dimensioner være ubestemt, hvilket minder om, at målet arver den geometri, træningen har påført.

Beregningen er d multiplikationer og additioner pr. par, billigt nok til at sammenligne en forespørgsel med titusinder af vektorer ved brute force med SIMD- eller GPU-kerner, men ved millioner af vektorer kræves indeks til approksimativ nærmeste-nabo-søgning. Komprimerede repræsentationer ændrer regnestykket: int8-skalarkvantisering holder cosinusrangeringen tæt på float32, mens binær kvantisering erstatter den med Hamming-afstand på fortegnsbit og normalt efterfølges af genberegning af de øverste kandidater med vektorer i fuld præcision.