Prøv flere ganger

Ett svar er ett trekk fra fordelingen

Du husker at modellen er en sannsynlighetsfordeling. Når den svarer, trekker den fra fordelingen, og trekket er tilfeldig: samme spørsmål kan gi ulike svar fra gang til gang. Svaret du fikk er altså ikke «modellens svar». Det er ett trekk blant mange mulige, og noen av de andre trekkene er bedre.

Dette er ikke en svakhet du må prompte deg bort fra. Det er en egenskap du kan utnytte.

Flere trekk gir raskt høyere kvalitet

Trekker du flere ganger, utforsker du hvilke løsninger som ligger i modellen. Kvaliteten på det beste svaret stiger raskt med antall forsøk, og kostnaden er lav: tre forsøk koster tre ganger så mange tokens, men tokens er billige målt mot tiden din og kvaliteten du får igjen.

Be for eksempel agenten lage tre utkast til et design og sammenligne dem, i stedet for ett. Forskjellene mellom utkastene viser deg mulighetsrommet, og det beste utkastet er ofte merkbart bedre enn det du hadde fått med ett forsøk.

Fordelingskurven med fire trekk som prikker langs løsningsrommet, merket forsøk 1 til forsøk 4. Forsøk 4 ligger klart nærmest en grønn blink merket «løsningen som passer deg» og er ringet inn med «velg det beste». Flere trekk utforsker fordelingen, utvalget plukker vinneren.

Hvorfor kan samme spørsmål gi ulike svar fra modellen?

Fordi svaret er ett tilfeldig trekk fra en sannsynlighetsfordelingFordi modellen husker forrige samtaleFordi treningsdataene endres fortløpendeFordi konteksten alltid tolkes feil

Du er usikker på designet av en løsning. Hva er et billig grep som ofte gir høyere kvalitet?

Stille spørsmålet med flere utropstegnBe om tre utkast og sammenligne dem, i stedet for ettBytte til en mindre modellFjerne konteksten så modellen står friere