Hva er tokens?

Hva er en token?

Modellen leser og skriver ikke bokstaver eller ord, men tokens. Et token er en liten bit data, ofte en tekstbit på noen få tegn. Et vanlig ord som «kommune» kan være et token, mens sjeldne ord deles opp i flere. Kode deles opp på samme måte: variabelnavn, parenteser og innrykk blir alle til tokens.

Tokens er ofte tekst, men ikke alltid. Bilder og lyd gjøres også om til tokens før modellen kan jobbe med dem. Alt modellen tar imot ender opp som tokens. Når modellen svarer deg, produserer den et token om gangen: prediksjonsmaskinen gjetter neste token, om og om igjen. Dette er noe av grunnen til at det tar tid for modellen å skrive. All tekst er basert på den som kom før og genereres sekvensielt.

Modellen ser verden annerledes enn deg

På forrige side lærte du at modellen ikke ser verden på samme måte som deg. Tokens er en stor del av grunnen. Modellen ser tokenen som en helhet, ikke bokstavene inni den. Derfor kan den bomme på oppgaver som ser trivielle ut for deg: telle bokstaver i et ord eller regne med lange tall. Det er derfor modellen noen ganger oppleves som et geni og andre ganger kan føles som en idiot.

For deg som utvikler betyr det: når modellen bommer på noe som virker enkelt, tenk på hva den faktisk ser. Oppgaver som krever presis behandling av enkelttegn eller nøyaktig aritmetikk passer ofte bedre for et verktøy, for eksempel kode som modellen kan skrive og kjøre, enn for modellen selv.

---

Hva er en token?

En liten bit data som modellen leser og skriver, ofte noen få tegn tekstEt helt ord, alltidEn sikkerhetsnøkkel for å logge inn på modellenEn linje med kode

Hvorfor tar det tid for modellen å skrive et langt svar?

Den søker på internett mens den skriverDen genererer et token om gangen, og hvert token bygger på det som kom førDen skriver hele svaret ferdig før den viser deg noeDen oversetter svaret fra engelsk først

Modellen skal løse en oppgave som krever nøyaktig regning med lange tall. Hva er en god tilnærming?

Be modellen regne i hodet, den er trent på matematikkGjenta spørsmålet flere ganger til svaret ser riktig utLa modellen skrive kode som gjør utregningen, og kjøre denDele tallet opp i flere meldinger