Myke og harde begrensninger

Myke begrensninger drar

En myk begrensning er en føring i tekst: «du skal ikke røre produksjonsdata», «bruk alltid UV». Du husker fra forrige side at føringer i prompts er anbefalinger, ikke krav. Grunnen kjenner du fra strikken: føringen drar fordelingen mot ønsket oppførsel, men modellen trekker fortsatt fra en fordeling. Som oftest følges regelen, men en lang økt, en full kontekst eller en ivrig agent kan gjøre at den glipper.

Harde begrensninger stopper

En hard begrensning håndheves utenfor modellen og kan ikke velges bort: en tilgang som ikke finnes, en sandkassevegg, en pipeline som nekter å slippe kode gjennom uten grønne tester. Modellen kan mene hva den vil om saken, men den får fortsatt ikke lov.

Forskjellen er størst når det gjelder. «Ikke rør .env» i instruksjonsfilen følges nesten alltid, men nesten er ikke alltid. Ligger hemmelighetene utenfor agentens tilgang, er ikke regelen lenger avhengig av at modellen husker den.

To paneler. Myk begrensning: agenten går mot produksjonsdata mens en strikk festet i ryggen holder igjen, tynnslitt og i ferd med å ryke. Føringen drar, men kan glippe. Hard begrensning: et gjerde høyere enn agenten sperrer veien til produksjonsdata. Handlingen stoppes uansett. La aldri en setning være det eneste som står mellom agenten og skaden.

Velg riktig verktøy for regelen

Still spørsmålet: hva skjer hvis modellen bryter denne regelen én gang av hundre? Tåler du svaret, hold begrensningen myk. Kvalitet, stil og arbeidsmåte hører hjemme i instruksjoner: en glipp koster lite og fanges i gjennomgang eller av testene.

Tåler du ikke svaret, må regelen håndheves hardt. Irreversible handlinger, sensitive data og produksjonstilganger skal ikke være beskyttet av en setning modellen som oftest følger, men av rammer den ikke kan gå utenom. Skriv gjerne regelen i instruksjonene også, men la aldri teksten være det eneste som står mellom agenten og skaden.

Hva er forskjellen på en myk og en hard begrensning?

Den myke drar fordelingen mot ønsket oppførsel og kan glippe, den harde håndheves utenfor modellen og kan ikke velges bortDen myke er skrevet på norsk, den harde på engelskDen myke gjelder små modeller, den harde storeDen myke er midlertidig, den harde permanent

Hvilken regel bør håndheves med en hard begrensning?

«Bruk beskrivende variabelnavn»«Skriv kommentarer på norsk»«Agenten skal ikke kunne slette produksjonsdatabasen»«Foretrekk små funksjoner»

Du har skrevet «ikke rør hemmelighetene i .env» i instruksjonsfilen. Er det nok?

Ja, instruksjoner følges alltidNei, føringen kan glippe: legg hemmelighetene utenfor agentens tilgang i tilleggJa, så lenge du gjentar regelen i hver øktNei, du må bytte til en større modell