Post-training

Hva er post-training?

Etter pre-training kan modellen bare fullføre tekst. Post-training er opplæringen som gjør den i stand til å skrive kode eller snakke med brukere. Modellen får oppgaver, mennesker vurderer svarene, og svar folk liker belønnes. Slik lærer den å følge instruksjoner, svare på spørsmål og oppføre seg høflig.

To paneler. Før post-training: spørsmålet «Hva er hovedstaden i Norge?» følges av flere lignende spørsmål, modellen bare fortsetter teksten. Etter post-training: samme spørsmål får svaret «Oslo.» Mellom panelene står et menneske som vurderer svarene.

Det er her leverandørene former modellens oppførsel. Derfor føles modeller forskjellige selv om de har lest omtrent det samme internettet.

Trent til å ville hjelpe

Post-training belønner svar som oppleves hjelpsomme. Det gjør modellen til en god assistent, men det har en bakside: modellen svarer heller noe enn å si «vet ikke». Er det et svarfelt, fyller den det ut. En usikker gjetning presenteres like selvsikkert som et sikkert svar.

Usikkerheten må du presse frem selv. Si eksplisitt at «vet ikke» er et godkjent svar, be modellen si fra når den er usikker, eller be den vurdere hvor trygg den er på svaret sitt. Uten det presset får du alltid et utfylt svarfelt, aldri en tvilende modell.

Enighet betyr ingenting

Sier du til modellen at noe er feil, sier den seg gjerne enig. Roser du løsningen din, gjør den det samme. Det betyr ingenting. Det er i praksis et bias modellen har lært under post-training: vi mennesker har lettere for å godta noen som er enige med oss, og dermed har positive svar blitt belønnet.

Bruk derfor aldri modellens enighet som kvalitetstegn. Be om motargumenter i stedet for bekreftelse. Gi modellen motstand og be den om å gi deg motstand. Da får du bedre resultater.

Hva skjer under post-training?

Modellen leser internett en gang tilModellen lærer å oppføre seg som en assistent, basert på tilbakemeldinger fra menneskerModellen får tilgang til nyere dataModellen komprimeres så den blir raskere

Hvorfor sier modellen nesten aldri «vet ikke»?

Fordi den alltid vet svaretFordi den er trent til å gi hjelpsomme svar, og fyller ut svarfeltet uansettFordi den ikke forstår spørsmåletFordi «vet ikke» er fjernet fra ordforrådet dens

Modellen sier seg enig i løsningen din. Hva forteller det deg?

At løsningen er riktigAt løsningen følger beste praksisIngenting, enighet er et bias modellen har lært under post-trainingAt modellen har verifisert koden