Genrangering (reranking)

Genrangering er andet trin i en retrieve-then-rerank-kaskade. Første trin (BM25, dense retrieval eller en hybrid) optimerer recall over hele korpusset med scorer, der kan forudberegnes pr. dokument; andet trin bruger langt mere regnekraft på en kort kandidatliste, typisk 50 til 200 elementer, for at optimere præcisionen i toppen, målt med nDCG@10 eller MRR@10. Arbejdsdelingen er skarp: En reranker kan kun ændre rækkefølgen af det, første trin returnerede, så første trins recall ved kandidatdybden er et hårdt loft over kvaliteten fra ende til anden.

Den gængse neurale reranker er en cross-encoder. Forespørgsel og passage sættes sammen til ét input, for BERT-lignende modeller [CLS] forespørgsel [SEP] passage [SEP], og fuld self-attention kører hen over begge, så hvert token i forespørgslen kan se hvert token i passagen; et lineært hoved på det samlede output giver en relevans-logit. Nogueira og Cho (2019) viste med monoBERT, at det klart slog BM25 på MS MARCO-opgaven med rangering af passager, og monoT5 formulerede senere relevans som sandsynligheden for at generere "true" frem for "false". Da intet kan forudberegnes, koster hvert par af forespørgsel og kandidat et fuldt forward-gennemløb, og ventetiden vokser lineært med kandidatdybden og passagelængden; input ud over modellens maksimale længde, ofte 512 tokens, afkortes, så lange stykker risikerer kun at blive bedømt på deres begyndelse. Træningen bruger punktvis binær krydsentropi eller par- og listevise tab med hårde negativer udvundet fra første trins søgning.

Flere alternativer ligger omkring cross-encoderen. Late interaction-modeller som ColBERT (Khattab og Zaharia, 2020) gemmer én vektor pr. dokumenttoken og scorer med summen af hvert forespørgselstokens maksimale lighed (MaxSim), så dokumenterne kan kodes offline, mod at indekset bliver meget større. LLM-baserede rerankere arbejder punktvis, parvist eller listevis; RankGPT (Sun m.fl., 2023) giver en model en nummereret liste af passager og beder om en permutation med glidende vinduer for lange lister, men det er dyrt og følsomt over for den rækkefølge, kandidaterne præsenteres i. Før de neurale modeller kombinerede learning to rank-metoder som LambdaMART håndlavede features med gradient-boostede træer, og de er stadig almindelige i søgning i webshops.

I praksis er reranker-scorer relative og ikke kalibrerede sandsynligheder, så en fast tærskel skal valideres på mærkede data, før den bruges til at smide passager væk eller udløse et "det ved jeg ikke"-svar. Sprogdækning betyder noget: En rent engelsk reranker kan sortere danske passager dårligere, end første trin gjorde. Og fordi rerankeren afgør, hvilke få passager der når frem til generatoren, er den et naturligt sted at sikre variation, fjerne næsten identiske stykker og ikke mindst aldrig genindføre passager, som rettighedsfiltreringen tidligere har fjernet.