Hvad er et race?

Hele teorien forklaret med vand

Jeg forklarer næsten alt i den her teori med vand. Det lyder måske fjollet, men vand gør fire svære idéer helt konkrete: hvad et race er, hvorfor læring sætter sig fast, hvorfor din hjerne skifter karakter under pres, og hvordan systemet finder frem til et svar. Her er billederne, ét ad gangen.

Karret og rørene

Forestil dig et stort kar fyldt med vand. Ud af det går der flere rør, lad os sige tre. Hvert rør er en mulighed, det teorien kalder en rute.

Når vandet er løbet ind og lige har samlet sig, så det ikke længere er for turbulent, begynder det at løbe ud gennem rørene. For enden af hvert rør står et nyt, tomt kar. Det kar der bliver fyldt først, har vundet. Den rute vandt racet.

Det er hele idéen i et race: flere muligheder løber på samme tid, én når først i mål, resten taber.

Flere ruter løber på samme tid. Det kar der fyldes først, har vundet racet. Du oplever bagefter kun vinderen, ikke selve racet.

Og det stopper ikke der. Det vindende kar er selv begyndelsen på et nyt race, med sine egne rør og sine egne modtager-kar. Det er en lang kæde. Karrene er forbundne på kryds og tværs, så et kar kan få vand fra flere rør på én gang. Det er sådan en hjerne, eller en sprogmodel, kører: tusindvis af de her små races, hægtet sammen.

Hvert lille kar er sit eget race. Vinderen bliver input for det næste, og karrene deler rør på kryds og tværs: et kar kan fødes af flere rør og sende videre til flere. En hjerne eller en sprogmodel er tusindvis af de her races, koblet sammen i ét net.

Hvor er friktionen henne?

Friktionen er prisen for at afgøre racet. Når ét rør er klart størst og hurtigst, er der næsten ingen friktion: vinderen er givet på forhånd. Når tre rør er lige gode, står systemet og vakler, og friktionen er høj.

Det er præcis det signal jeg måler i sprogmodeller. Er modellen sikker, løber vandet tydeligt gennem ét rør. Er den i tvivl, står flere kar og fyldes lige hurtigt, og det kan jeg aflæse direkte i modellens output. Høj friktion er et fingerpeg om at modellen er ved at tage fejl, og det fingerpeg kan man bruge til noget praktisk.

Sandet og vandslangen

Nu et andet billede. Tag en vandslange og ret den mod noget sand.

Holder du slangen stille ét sted, graver vandet langsomt en lille kanal. Og her er pointen: næste gang vandet løber, løber det lettere den vej, for kanalen er der allerede. Systemet husker hvor vandet løb sidst. Fysikere kalder det hysterese: et system der bærer spor af sin egen historie. Det er præcis det læring er. Du lærer ikke ved at gemme information væk et sted. Du lærer ved at grave kanaler, som det næste vand løber lettere igennem.

Bevæger du slangen lidt fra side til side mens du graver, bliver kanalen bredere. Det er den vigtige regel: lidt ekstra modstand nu giver mindre modstand fremover. Det er præcis det Bjork kalder "ønskværdige vanskeligheder".

De brede og de tynde overløb

Tænk på lagene i hjernen som en kaskade af kar, der løber over i hinanden. De dybe, gamle lag er brede overløb: de kan flytte meget vand på én gang. De højere, præcise lag er tynde overløb: fine og hurtige, men med mindre kapacitet. Vand løber over begge hele tiden, bare i forskellig mængde.

Når der ikke er meget tryk, klarer de tynde overløb det fint, og du tænker præcist og nuanceret. Stiger trykket, kommer der mere vand end de tynde kan tage, og de brede overløb bærer mere og mere af det. Det er dig under pres, hvor du falder tilbage på de gamle, grove vaner. Og bliver trykket for stort, kan selv de brede ikke følge med: vandet vælter over alle kanter på én gang. Det er en overload.

Tre terrasserede stenbassiner som fuglebade. Hvert bassin er fyldt til kanten, og vandet løber over kanten ned i det næste, lavere bassin i en sammenhængende kaskade. — Sådan ser jeg det for mig: terrasserede kar hvor vandet vælter over kanten fra det ene ned i det næste. Nogle af de overløb er brede (de dybe, gamle lag) og nogle tynde (de præcise lag), og under pres bærer de brede mere og mere, til det hele løber over.

Landskabet vandet søger ned i

Sidste billede. Forestil dig et landskab med bakker og dale. Hæld vand ud over det, og det løber ned og samler sig i de lave punkter.

De lave punkter er løsningerne, de steder systemet kan lande. Nogle dale er dybe (gode løsninger), nogle er lavvandede (halvgode løsninger man kan sidde fast i), og nogle steder er der flade plader hvor vandet bare står stille. Sådan finder en hjerne, eller en model, sit svar: den ruller ned ad landskabet til et lavpunkt.

Et 3D loss-landskab: en bølget plade i tredimensionelt rum med bakker og dale. De mørke, lave punkter er løsninger; det dybeste er den bedste. Konturlinjer er projiceret på bunden. — Det rigtige billede: en bølget plade i tre dimensioner. De lave punkter (de mørke dale) er de løsninger systemet kan lande i. Den dybeste er den bedste, og en lavvandet dal er et lokalt lavpunkt man kan sidde fast i. Jeg tegner kun tre dimensioner fordi det er det vi kan se for os. Det er *ikke* fordi der kun er tre: i virkeligheden sker det i tusindvis på én gang. Mekanikken er den samme.

Det var billederne

De her fire billeder er ikke selve teorien. De er stilladset jeg bygger den på. Men de fanger mekanikken: vand der racer gennem ruter, kanaler der bliver bredere når man bruger dem, rør i forskellige størrelser der vinder under forskelligt tryk, og et landskab vandet søger ned i.

Vil du videre, bygger resten af sitet oven på de billeder:

Læring — hvordan kanalerne i sandet bliver til hukommelse
Hukommelse — hvorfor du husker arbejdet, ikke informationen
Paper 1 (Friktionsteori) — den fulde ramme bag karret og rørene
Paper 10 (Race-arkitektur) — hvor langt det samme billede rækker, helt ned til fysik