Pre-training

Hva er pre-training?

Pre-training er første steg i treningen av en språkmodell. Modellen leser enorme mengder tekst og kode, det meste av det som finnes åpent på internett, og øver på én eneste oppgave: å gjette neste token. Den gjetter, sammenligner med fasiten, justerer seg litt og prøver igjen. Milliarder av ganger.

Treningsløkke med fire steg i sirkel: «Les tekst», «Gjett neste token», «Sammenlign med fasiten» og «Juster parametrene», med piler tilbake til start. I midten står det «Milliarder av ganger».

Det er dette som skaper sannsynlighetsfordelingen over all kode i verden. Ingen har programmert inn regler for hva som er god kode. Modellen har bare sett så mye at den vet hva som pleier å komme etterpå.

Et gjennomsnitt av internett

På internett finnes det god kode og forferdelig kode, presise forklaringer og fullstendig sprøyt. Modellen har lært av alt sammen. Resultatet er et gjennomsnitt av det den har sett, ikke et utvalg av det beste.

For deg som utvikler betyr det: uten styring får du det mest sannsynlige svaret, ikke det beste svaret for ditt problem. Når du gir modellen tydelige krav, gode eksempler og relevant kontekst, flytter du den mot den delen av fordelingen du faktisk vil ha.

Kunnskapen har en utløpsdato

Pre-training skjer på et tidspunkt, og modellens verden stopper der. Alt som er publisert etterpå finnes ikke for den. Det er derfor modellen kan foreslå utdaterte API-er eller ikke kjenner siste versjon av rammeverket ditt.

Den har heller aldri sett kodebasen din eller Oslo kommunes interne dokumentasjon. Det som er nytt eller privat må du selv gi modellen. Hvordan du gjør det i praksis lærer du i seksjonen om språkmodeller.

Hva øver modellen på under pre-training?

Å følge regler for god kode skrevet av eksperterÅ gjette neste token, om og om igjenÅ svare høflig på spørsmålÅ huske hele internett ordrett

Hvorfor gir modellen deg ikke automatisk den beste løsningen?

Fordi den holder tilbake de gode svareneFordi den er trent på et gjennomsnitt av internett og gir deg det mest sannsynligeFordi den ikke er trent på kodeFordi den bare kan svare på engelsk

Modellen foreslår et utdatert API. Hva er den mest sannsynlige forklaringen?

Modellen prøver å spare deg for arbeidAPI-et er nyere enn treningsdataene, så modellen kjenner ikke den nye versjonenModellen leser dokumentasjonen feilUtdaterte API-er er tryggere å bruke