Superintelligens

Hva er superintelligens?

Superintelligens er KI som overgår menneskelig intelligens på de fleste områder. Skillet fra sterk KI handler om nivå: AGI betyr generell, på bredde med et menneske. Superintelligens betyr bedre enn oss, også på oppgavene vi er best på.

Ingen vet om eller når det kommer. Men mekanismen som kunne føre dit, er verdt å forstå, for du er allerede en del av den.

Rekursiv selvforbedring

Rekursiv selvforbedring handler om å øke utviklingshastigheten: at KI bidrar til å lage bedre KI. Det trenger ikke være modeller som forbedrer seg selv på egen hånd. Det kan like gjerne være mennesker og modeller som sammen blir raskere og raskere: utviklere med agenter som bygger verktøyene og modellene for neste generasjon, som gjør utviklerne enda raskere.

Oppnår man rekursiv selvforbedring, kan kapabiliteten stige veldig bratt, for hver forbedring gjør den neste forbedringen raskere. De åpne spørsmålene er om vi faktisk har rekursiv forbedring, og hvilke flaskehalser som eventuelt bremser løkken: strøm, GPU-er, data eller penger. En løkke er aldri raskere enn den tregeste delen sin.

Hva betyr dette for deg?

Du trenger ikke ta stilling til om eller når superintelligens kommer. Flere hindre har allerede dukket opp: da ren modellstørrelse sluttet å skalere, førte det til endringer i arkitektur og overgangen til test time compute, altså mer tenking når modellen brukes. Så langt fortsetter modellene å bli bedre, og hvis forbedringen forsterker seg selv, kan det gå fortere enn du er vant til fra annen teknologi.

Konsekvensen kjenner du fra forrige side: grensen flytter seg, ikke tilfeldig, men oppover. Revurder arbeidsmåten din jevnlig, og regn med at det som er state of the art i dag kan være gjennomsnittlig i morgen.

---

Hva er superintelligens?

KI som overgår menneskelig intelligens på de fleste områderDet samme som AGIEn modell med flere parametre enn hjernen har nevronerKI som kan spille sjakk bedre enn verdensmesteren

Hva er rekursiv selvforbedring?

At modellen retter sine egne skrivefeilAt utviklingshastigheten øker fordi KI bidrar til å lage bedre KI, gjerne med mennesker i løkkenAt modellen trener seg selv om nattenAt hver modell er dobbelt så stor som forrige

Hva kan bremse en rekursiv forbedringsløkke?

Ingenting, løkken forsterker seg selv uansettFlaskehalser som strøm, GPU-er, data og pengerAt modellene blir lateAt internett går tomt for plass