Prediksjonsavstand

Interpolering: biten som mangler er åpenbar

Modellen har lært fordelingen av all tekst og kode den har sett. Prediksjonsavstand handler om hvor langt oppgaven din ligger fra det den har sett og hvor stort hopp det er fra det som allerede eksisterer til det du ber om. Ligger svaret mellom ting modellen har sett tusenvis av ganger og kode som allerede eksisterer, er det åpenbart hvilken bit som mangler. Dette kalles interpolering, og det er modellene svært gode på.

Det meste av utviklingsarbeid er interpolering: et nytt endepunkt som ligner de ti forrige, en test etter samme mønster som naboene, en komponent i et velkjent rammeverk. Derfor føles modellen som et geni på akkurat disse oppgavene.

Ekstrapolering: utenfor kartet

Utenfor treningsfordelingen og med manglende kontekst må modellen ekstrapolere: gjette videre basert på ufullstendig informasjon. Det er svært varierende hvor godt modellene klarer det. Et nytt rammeverk som kom etter treningen, kommunens interne fagsystemer og regelverk, eller en uvanlig kombinasjon av kjente deler: her er prediksjonsavstanden stor, og kvaliteten på resultatet faller.

Det lumske er at svaret ser til forveksling likt ut. Modellen gir deg alltid et svar uansett hvor usikker den er, og en ekstrapolering presenteres like selvsikkert som en interpolering. Avstanden synes ikke på svaret, bare på treffsikkerheten.

Reduser avstanden

Du kan flytte oppgaven nærmere det modellen har sett. Det er dette rådene fra språkmodell-seksjonen egentlig gjør: kontekst og eksempler. Gir du mer kontekst, forankrer du oppgaven slik at modellen kan interpolere i stedet for å ekstrapolere. Legger du inn kommunens regelverk og en lignende løsning fra kodebasen, er ikke oppgaven lenger utenfor kartet.

Vurder derfor prediksjonsavstanden før du delegerer: er dette noe modellen har sett tusen varianter av, eller ber du den gjette utenfor fordelingen av det som er vanlig? Og husk at grensen flytter seg: hver modellgenerasjon har sett mer, så det som krevde ekstrapolering i fjor kan være interpolering i år.

---

Hva er prediksjonsavstand?

Hvor langt oppgaven din ligger fra det modellen har sett i treningenAntall tokens mellom spørsmål og svarTiden modellen bruker på å svareAvstanden mellom to modellversjoner

Hvorfor er det vanskelig å oppdage at modellen ekstrapolerer?

Fordi modellen sier fra når den er usikkerFordi svaret presenteres like selvsikkert uansett avstandFordi ekstrapolering alltid gir feilmeldingFordi ekstrapolering bare skjer i store modeller

Oppgaven din gjelder kommunens interne regelverk, som ikke finnes i treningsdataene. Hva gjør du?

Stoler på at modellen resonnerer seg fremReduserer prediksjonsavstanden: legger regelverket og en lignende løsning inn i kontekstenBytter til en mindre modellDeler oppgaven i flere økter