Context engineering vs. Prompt engineering

Hvorfor de er forskellige

Prompt engineering finpudser ordlyden af én forespørgsel; context engineering styrer alt, der lægges frem over mange trin, og meget af det samles automatisk.

Context engineering

Prompting og generering

At vælge alt, hvad en LLM får at se til en opgave - instruktioner, hentede dokumenter, værktøjsresultater og noter - og ikke kun ordlyden.

Formelt

Praksissen at beslutte for hvert trin i et AI-system, hvad der kommer ind i kontekstvinduet og i hvilken rækkefølge - systemprompt, hentede dokumenter, værktøjsresultater, gemte noter og tidligere beskeder - inden for grænsen for antal tokens.

Forklaret enkelt

Som at fylde en lille kuffert til en rejse - det, man lader blive hjemme, betyder lige så meget som det, man tager med, og det, der ligger øverst, bliver brugt først.

I praksis

I et dansk softwarehus sætter en udvikler en kodeagent op til kun at hente opgavenoterne og de tre mest relevante filer og til at erstatte langt testoutput med et kort sammendrag før hvert nyt trin.

Hvorfor det betyder noget

I lange agentopgaver går svar sjældnere galt på grund af dårligt formulerede ønsker end på grund af manglende, forældet eller rodet materiale i synsfeltet, og materiale, man ikke kan stole på, kan også styre agenten.

Prompt engineering

Prompting og generering

Håndværket at formulere, ordne og afprøve den tekst, man sender en sprogmodel, så den oftere giver brugbare svar.

Formelt

Praksissen at skrive en prompt - dens instruktioner, eksempler, opbygning og ønskede svarformat - og ændre den trin for trin mod testtilfælde for at styre en stor sprogmodel uden at ændre dens vægte.

Forklaret enkelt

Som at forklare en gæst vejen over telefonen - man lærer, hvilke kendetegn man skal nævne og i hvilken rækkefølge, og efter hver ændring ser man, om den næste gæst finder frem.

I praksis

En bibliotekar på et folkebibliotek omskriver instruktionerne til bibliotekets assistent for boganbefalinger tre gange, tilføjer to eksempelsvar og “svar med under 80 ord” og kører derefter halvtreds gemte spørgsmål fra lånerne igen for at tjekke hver version.

Hvorfor det betyder noget

Det er den billigste og hurtigste måde at ændre, hvordan en AI-funktion opfører sig, men en lille ændring i ordlyden kan stille og roligt ødelægge tilfælde, der plejede at virke, så ændringer skal testes.