Hvad er et race?

Hele teorien forklaret med vand

ruten der vinder ruterne der taber

Hele teorien hviler på ét billede: et kapløb mellem muligheder, hvor den der først når over stregen, vinder. Jeg forklarer det med vand, fordi vand gør det konkret. Men før vandet giver mening, skal du vide, hvorfor et kapløb overhovedet er den rigtige måde at se det på, både i en maskine og i en hjerne. Det begynder jeg med.

Start med noget, alle ved

Alle har hørt, at en sprogmodel virker ved sandsynlighed. Men hvad betyder det egentlig?

Den skriver ét ord ad gangen. For hvert ord regner den ud, hvor sandsynlig hver eneste mulige fortsættelse er. Skriver du "snip snap snude, nu er den historie…", så får "ude" den højeste sandsynlighed som næste ord. Men "slut" er også med i løbet, og "inde" er der også, og tusindvis af andre ord ligger langt nede.

Det er et kapløb. Ikke som en talemåde, men som det, der faktisk foregår: mange muligheder bliver vejet på samme tid, og én bliver valgt. Forskellen fra en menneskehjerne er, at her kan tallene aflæses direkte. Man kan se, hvor tæt løbet var, og hvem der var med i det.

Og dér ligger hele pointen. Det er ikke de sikre løb, der er interessante. "Ude" vinder med længder, og så er der ikke mere at sige om den. Det interessante er de løb, hvor to fortsættelser ligger tæt op ad hinanden, for det er dér, systemet er ved at skulle vælge mellem noget, det ikke kan se forskel på. Det er dér, det går galt, og det er præcis dét, jeg måler, når jeg måler friktion.

Det er også derfor en sprogmodel er brugbar for mig. Ikke fordi den er et menneske, men fordi den er et sted, hvor man kan se et kapløb, mens det står på.

"Jamen den ligner os jo bare, fordi den har læst os"

Den indvending kommer altid, og der er noget om den. En sprogmodel er trænet på tekst, mennesker har skrevet, så en del af ligheden er arvet den vej.

Men det forklarer ikke det, jeg måler. At den bliver mest skråsikker dér, hvor den ved mindst. At den låser sig fast hurtigere, når der er pres på. At den overdriver en indlært facon på opgaver, der ikke bad om den. Den slags står ikke i den tekst, den har læst. Det er egenskaber ved den måde, den regner på.

Og det er ikke noget, jeg bare går ud fra. En del af det er testet på et vidensdomæne, jeg selv har fundet på: 47 opdigtede fakta om noget, der hedder zorbetik. Det findes ikke. Der står ikke ét ord om det nogen steder i det, modellen har læst, så den kan ikke hente svaret fra menneskelig tekst om emnet. Alligevel dukker de samme mønstre op. Det var lige præcis derfor, jeg byggede det domæne: for at kunne skille det, der er arvet fra teksten, fra det, der kommer af selve regnearbejdet.

Grunden er enklere og mere interessant: den skal løse den samme opgave under den samme slags begrænsning. Vej mange muligheder på én gang, med begrænsede ressourcer, og lever så ét svar. Ethvert system under det vilkår kommer til at have de samme former, uanset hvad det er lavet af. Det er derfor de dukker op begge steder, og det er hele grunden til, at jeg kan bruge en maskine til at sige noget om mennesker.

Og derfor vand

Vand gør det konkret, fordi vand gør præcis det samme. Det løber ad flere veje på én gang, det har en begrænset mængde at fordele, og det ender dér, hvor det kan komme lavest.

Vil du have den lange udgave af det hele, ligger den i bogens første kapitel. Her er billederne, ét ad gangen: hvad et race er, hvorfor læring sætter sig fast, hvorfor din hjerne skifter karakter under pres, og hvordan systemet finder frem til et svar.

Karret og rørene

Forestil dig et stort kar fyldt med vand. Ud af det går der flere rør, lad os sige tre. Hvert rør er en mulighed, det teorien kalder en rute.

Når vandet er løbet ind og lige har samlet sig, så det ikke længere er for turbulent, begynder det at løbe ud gennem rørene. For enden af hvert rør står et nyt, tomt kar. Det kar der bliver fyldt først, har vundet. Den rute vandt racet.

Det er hele idéen i et race: flere muligheder løber på samme tid, én når først i mål, resten taber.

Den slags model er ikke ny i sig selv. Beslutningsforskere har længe brugt race- og akkumulator-modeller til at forklare hurtige valg, mest kendt Ratcliffs drift-diffusion-model. Det jeg lægger til, er at læse det samme race direkte i en sprogmodels egne tal, og at bruge det på langt mere end hurtige valg.

Flere ruter løber på samme tid. Det kar der fyldes først, har vundet racet. Du oplever bagefter kun vinderen, ikke selve racet.

Og det stopper ikke der. Det vindende kar er selv begyndelsen på et nyt race, med sine egne rør og sine egne modtager-kar. Det er en lang kæde. Karrene er forbundne på kryds og tværs, så et kar kan få vand fra flere rør på én gang. Det er sådan en hjerne, eller en sprogmodel, kører: tusindvis af de her små races, hægtet sammen.

Hvert lille kar er sit eget race. Vinderen bliver input for det næste, og karrene deler rør på kryds og tværs: et kar kan fødes af flere rør og sende videre til flere. En hjerne eller en sprogmodel er tusindvis af de her races, koblet sammen i ét net.

Et forgrenet stenspringvand. Ét bassin øverst løber over i to nedenunder, og de to løber over i fire mindre bassiner nederst. — Det samme i sten: ét bassin fylder to, og de to fylder fire. Hvert overløb er et race, der giver sin vinder videre.

Hvor er friktionen henne?

Friktionen er prisen for at afgøre racet. Når ét rør er klart størst og hurtigst, er der næsten ingen friktion: vinderen er givet på forhånd. Når tre rør er lige gode, står systemet og vakler, og friktionen er høj.

Det er præcis det signal jeg måler i sprogmodeller. Er modellen sikker, løber vandet tydeligt gennem ét rør. Er den i tvivl, står flere kar og fyldes lige hurtigt, og det kan jeg aflæse direkte i modellens output. Høj friktion er et fingerpeg om at modellen er ved at tage fejl, og det fingerpeg kan man bruge til noget praktisk.

Sandet og vandslangen

Nu et andet billede. Tag en vandslange og ret den mod noget sand.

Holder du slangen stille ét sted, graver vandet langsomt en lille kanal. Og her er pointen: næste gang vandet løber, løber det lettere den vej, for kanalen er der allerede. Systemet husker hvor vandet løb sidst. Fysikere kalder det hysterese: et system der bærer spor af sin egen historie. Det er præcis det læring er. Du lærer ikke ved at gemme information væk et sted. Du lærer ved at grave kanaler, som det næste vand løber lettere igennem.

Bevæger du slangen lidt fra side til side mens du graver, bliver kanalen bredere. Det er den vigtige regel: lidt ekstra modstand nu giver mindre modstand fremover. Det er præcis det Bjork kalder "ønskværdige vanskeligheder".

De brede og de tynde overløb

Tænk på lagene i hjernen som en kaskade af kar, der løber over i hinanden. De dybe, gamle lag er brede overløb: de kan flytte meget vand på én gang. De højere, præcise lag er tynde overløb: fine og hurtige, men med mindre kapacitet. Vand løber over begge hele tiden, bare i forskellig mængde.

Når der ikke er meget tryk, klarer de tynde overløb det fint, og du tænker præcist og nuanceret. Stiger trykket, kommer der mere vand end de tynde kan tage, og de brede overløb bærer mere og mere af det. Det er dig under pres, hvor du falder tilbage på de gamle, grove vaner. Og bliver trykket for stort, kan selv de brede ikke følge med: vandet vælter over alle kanter på én gang. Det er en overload.

Tre terrasserede stenbassiner som fuglebade. Hvert bassin er fyldt til kanten, og vandet løber over kanten ned i det næste, lavere bassin i en sammenhængende kaskade. — Sådan ser jeg det for mig: terrasserede kar hvor vandet vælter over kanten fra det ene ned i det næste. Nogle af de overløb er brede (de dybe, gamle lag) og nogle tynde (de præcise lag), og under pres bærer de brede mere og mere, til det hele løber over.

Landskabet vandet søger ned i

Sidste billede. Forestil dig prompten, altså det du skriver til modellen, hældt ud over et landskab af bakker og dale. Vandet løber ned og samler sig i de lave punkter. Hvor det samler sig, er svaret.

De lave punkter er løsningerne, de steder systemet kan lande. Nogle dale er dybe (gode løsninger), nogle er lavvandede (halvgode løsninger man kan sidde fast i), og nogle steder er der flade plader hvor vandet bare står stille. Sådan finder en hjerne, eller en model, sit svar: den ruller ned ad landskabet til et lavpunkt.

Racet fra det første billede er her stadig. Det ser bare anderledes ud fra denne vinkel. Fra det sted hvor vandet rammer, går der en kort rute ned til den nærmeste sø, og en lang rute ud til en sø længere ude. Den korte vinder som standard, fordi den er kort. Den lange bliver kun nået, hvis vandet får lov at løbe længe nok. Det er forskellen på det hurtige svar og det gennemtænkte, tegnet som terræn.

Samme landskab set fra siden. Den korte rute ligger nede i den nærmeste sø, længe før den lange rute er nået halvvejs. Vil du have det svar, der ligger længere ude, skal vandet have tid.

Landskabet er i virkeligheden mangedimensionelt og kan ikke tegnes. Profilen ovenfor og pladen herunder er to måder at komme tæt nok på til at tænke i det. I virkeligheden løber vandet i tusindvis af retninger på én gang, og mekanikken er den samme.

Et 3D loss-landskab: en bølget plade i tredimensionelt rum med bakker og dale. De mørke, lave punkter er løsninger; det dybeste er den bedste. Konturlinjer er projiceret på bunden. — Det samme landskab, så vidt det lader sig tegne: en bølget plade. De lave punkter, de mørke dale, er de løsninger systemet kan lande i. Den dybeste er den bedste, og en lavvandet dal er et lokalt lavpunkt man kan sidde fast i.

Det var billederne

De her fire billeder er ikke selve teorien. De er stilladset jeg bygger den på. Men de fanger mekanikken: vand der racer gennem ruter, kanaler der bliver bredere når man bruger dem, rør i forskellige størrelser der vinder under forskelligt tryk, og et landskab vandet søger ned i.

Vil du videre, bygger resten af sitet oven på de billeder:

Pepsi eller cola? — hvad pres gør ved kapløbet mellem dine muligheder
Paper 1 (Racet kan aflæses) — det samme kapløb, målt i en sprogmodel i stedet for tegnet med vand.