Hvorfor "ved lidt, tror meget"

Den dukker også op i sprogmodeller, og det afslører hvad den i virkeligheden er

Dunning-Kruger-effekten dukker også op i en sprogmodel som for eksempel ChatGPT. Og det er mærkeligere, end det lyder. En maskine er jo ikke forfængelig. Den bilder ikke sig selv ind, at den er klogere, end den er. Men den bliver alligevel mest skråsikker, lige når den ved mindst. Så når effekten også er der, kan den ikke handle om et skrøbeligt menneskeligt ego. Den må være noget mere grundlæggende. Og fordi vi kan kigge direkte ind i modellen, kan vi nu se præcis hvorfor det sker.

En lærer med et hemmeligt karaktersystem

Forestil dig en lærer med et hemmeligt karaktersystem. Reglen er enkel: din karakter er dit nummer på klasselisten. Elev nr. 3 får 3, elev nr. 7 får 7. Men der er en skjult undtagelse: hver elev hvis nummer går op i 5 (5, 10, 15, 20 og så videre) får 100 oveni. Så elev nr. 10 får ikke 10, men 110.

Nu viser vi en, der skal lære systemet, kun de nemme eksempler: elev 1 fik 1, elev 2 fik 2, og så videre op til 9, men aldrig en af de specielle. Hvad sker der? Præcis det et menneske ville gøre: man ser mønsteret "nummer = karakter" og bliver overbevist. Spørger vi "hvad får elev nr. 10?", kommer svaret prompte og skråsikkert: "10". Sikker og forkert på samme tid. Det er toppen af bjerget: én forklaring har vundet for let, fordi der ikke var nogen til at modsige den endnu, og en let sejr føles som sikkerhed.

Så begynder sandheden at dryppe ind: "Elev nr. 5 fik faktisk 105." Nu lægges der et nyt spor ved siden af det gamle, og det at blive modsagt gør det nye spor ekstra kraftigt. Pludselig er der to forklaringer der konkurrerer, og den lette sejr skrumper. Sikkerheden falder. Det er dalen.

Bliver man ved med at give eksempler, vinder den rigtige forklaring til sidst rent, og man begynder at svare 110 på elev 10. Det er vejen op igen.

Eksemplet er ikke en analogi vi har fundet på. Modellen blev faktisk vist par som "elev nr. 7 → karakter 7" med præcis den regel (nummer = karakter, undtagen multipla af 5, der får 100 oveni). Det eneste vi har pyntet på er at sige "elever i en klasse" i stedet for tørre kodenumre.

Fire grafer, én for hver sprogmodel (Llama-3-8B, Qwen2.5-7B, Llama-3.3-70B, Qwen3-235B). I hver graf stiger den sorte selvsikkerheds-kurve hurtigt til toppen, mens den grønne kurve for hvor rigtigt svaret faktisk er, halter bagefter. I den lille model bliver selvsikkerheden hængende på toppen, mens de større modeller viser at den rigtige forståelse til sidst indhenter og kurven retter sig op. — Det her er ikke en tegning af idéen, men målt direkte i fire rigtige sprogmodeller, mens de lærer systemet ovenfor. Den sorte kurve er hvor sikker modellen lyder; den grønne er hvor rigtigt svaret faktisk er. "Skråsikker før dygtig" er der i dem alle. Den lille model (øverst til venstre) sidder fast på toppen af bjerget og kommer aldrig videre; jo større modellen er, jo tydeligere ses turen ned i dalen og op igen. At komme op kræver altså størrelse.

To ting værd at bemærke

For det første: i starten lød den uvidende kun skråsikker, fordi vi tvang den til at svare med et tal. I det øjeblik vi gav lov til at sige "det ved jeg ikke", sagde den netop det, hver gang den var ægte uvidende. Ydmygheden var der hele tiden. Vi havde bare lukket munden på den.

For det andet: selv når svaret lød skråsikkert, kunne vi kigge indenunder og se at "10" og "110" stod næsten lige stærkt lige i erkendelsesøjeblikket. Tvivlen var ægte. Den blev bare ikke sagt højt.

Hvad det betyder

At blive klogere er ikke noget mystisk. Det er bare at gå fra ét spor der vinder for let, til flere spor der konkurrerer, indtil det rigtige vinder. Dunning-Kruger er ikke en sær menneskelig brist. Det er formen på enhver indlæring der starter for simpelt.

Vil du se grundbilledet bag det hele, så starter Hvad er et race? med vand: kar, rør og de spor i sandet som læring efterlader. Og Læring forklarer hvorfor det at blive modsagt graver det nye spor så dybt.