Friktionsteori — letlæselig version

Tomas Pødenphant Lund · Uafhængig forsker, Aarhus

Jeg gik næsten ved et tilfælde i gang med at undersøge sprogmodeller, den slags kunstig intelligens som ChatGPT er lavet af. Jeg ville se én konkret ting: kunne jeg gøre dem bedre ved at lade dem tvivle, mærke deres egen usikkerhed, før de svarede? Det jeg fandt, var noget andet og større. På område efter område, hvor vi går ud fra at der er en dyb forskel mellem os og maskinen, er forskellen faktisk ikke ret stor. Vi kan genkende os selv i den. Men den forskel der så er tilbage, den er til gengæld smuk, og den betyder noget. Den her side handler om begge dele: hvor lidt der egentlig skiller os, og hvad det er, der gør. Mønstrene rækker længere end hjernen, men den menneskelige ende er den nemmeste at genkende, så det er der vi begynder.

Fire steder at starte

Kort fortalt: ethvert system der skal vælge under endelig tid og endelige ressourcer kører et internt race mellem alternativer. Ét vinder, resten undertrykkes med en omkostning. Den omkostning er hvad jeg kalder friktion, og den samme struktur dukker op på enhver skala der er blevet undersøgt.

Hvad det egentlig handler om

Hver tanke du har, hver følelse, hver bevægelse af din hånd: det er alt sammen udtryk for beregninger, som din krop udfører.

Det lyder underligt sagt sådan. "Beregning" lyder som noget koldt og bevidst, som en regnemaskine der kører, som om der sad nogen inde i dig og regnede svaret ud. Det er ikke det der sker. Det der faktisk sker er tættere på en række sandsynlighedsudfald.

Et lille eksempel. Inde i en af dine celler skal et stykke DNA samle ét startmolekyle op eller et andet. Hvilket det samler op afhænger af hvad der svæver i nærheden, og i hvilken koncentration. Der er ingen som vælger. Der er en fordeling af molekyler, og en sandsynlighed for at det ene lander før det andet. Så producerer cellen det protein der følger af den landing. Gang det med millioner af events per sekund på tværs af din krop, og du har noget der "beregner" kontinuert uden at nogen styrer det.

Det samme billede skalerer op. Når du vælger mellem to muligheder, kører du ikke en deterministisk beregning. Du lader konkurrerende kandidat-svar race mod hinanden i din hjerne, under betingelser af endelig tid og endelige ressourcer. Ét af dem vinder. Du oplever vinderen som "jeg valgte X". Du oplever ikke racet.

Hvordan læring faktisk fungerer

Forestil dig at du trækker fingeren gennem et tyndt lag vand på et flisegulv. Vandet flytter sig; der dannes en kanal. Træk fingeren gennem samme sti igen, og det er en smule lettere: kanalen er der allerede. Fysikere kalder det her hysterese: systemet bærer spor af sin egen historie.

Din hjerne fungerer på præcis samme måde. Ruter du bruger meget efterlader spor. Sporene gør de ruter mere sandsynlige næste gang. Det er det læring er, på substrate-niveau. Ikke magi. Ikke et særligt biologisk mysterium. Sandsynlighed der bliver forskudt gennem spor-akkumulering.

Det er det Friktionsteori handler om. Den pris systemet betaler hver gang det skal opløse konkurrerende kandidater til ét valgt udfald (i tid, energi, information), det er friktionen. Friction Theory er det formelle navn for rammen. Behavioural Friction Theory (BFT) er den biologiske version: anvendt på nervesystemer, organiseret omkring fire computationelle felter (Tryghed, Mening, Kunnen, Besvær) og fem regulerende lag.

Hvorfor information-bombardement ikke lærer nogen noget

Selv sprogmodeller, der er bogstaveligt talt computere designet til at absorbere information, kan ikke læres ved bare at få mere information vist. Det viser Paper 2B direkte. Smid information på en model, og du får en model der hallucinerer selvsikkert om hvad end du smed på den.

Hvis sprogmodeller, som er designet til at læres, ikke kan læres af information-bombardement, hvorfor antager vi at mennesker kan? Vi har tænkt på det som motivation. Det er fysik. Man lærer ikke informationen, man lærer det spor, informationen sætter.

Den fulde version af det argument (hvad det betyder for hvordan vi underviser, og hvorfor Bjorks "desirable difficulties" er fysik snarere end pædagogisk valg) er på Hukommelse-siden (letlæselig) eller Læring-siden (mere akademisk).

Hvad jeg laver i praksis

Jeg studerer sprogmodeller for at forstå mennesker, en pil der peger den modsatte vej af hvad de fleste forventer. Standardopfattelsen er at sprogmodeller forsøger at efterligne menneskeligt sprog, så at studere dem fortæller dig om efterligningen, ikke om mennesker selv. Jeg argumenterer for det modsatte.

Mange af de ting vi troede var unikt menneskelige, viser sig at dukke op i sprogmodeller også, ikke fordi modellerne blev trænet til at efterligne menneskelig kognition, men fordi det samme kapløb kører begge steder: parallelle kandidater der racer under endelige ressourcer, med én der vinder. Det samme kapløb producerer den samme karakteristiske adfærd:

• Information overload — for meget kontekst skader, ligesom hos dig
• Forankring — det første ord former resten
• Reaktans — instruktioner aktiverer de ruter de prøver at forhindre
• Omvendt U på udfordring — for lidt og for meget skader begge dele

→ Hele turen: Sprogmodeller er ikke regnemaskiner. En samlet side over alt det overraskende ved sprogmodeller, alt det man ville tro var typisk menneskeligt.

Når sprogmodeller reproducerer de her fænomener, lader de ikke som om. De fortæller os at fænomenerne ikke er specifikt biologiske. De er strukturelle konsekvenser af enhver arkitektur der lader konkurrerende muligheder racere mod en deadline, med kun én vinder. Hjernen er ét sådant system. En transformer er et andet. De ligner hinanden hvor deres arkitektur ligner, og divergerer hvor deres arkitektur divergerer.

Hvad mennesker har, som sprogmodeller ikke har

Arkitekturen er delt, men det er ikke hele historien, og det er faktisk her det bliver smukt. De steder hvor vi og sprogmodellerne adskiller os, er de vigtigste af alle. For når så meget af det vi troede var særligt menneskeligt viser sig at være noget vi deler med en maskine, så træder det tilbageværende, det maskinen ikke har, desto tydeligere frem. Det er dér det menneskelige sidder.

De har ikke loss aversion, den menneskelige tendens til at frygte tab dobbelt så meget som vi nyder gevinst. Det er fordi loss aversion grundlæggende handler om at du kan dø, hvis du vælger forkert for ofte. Mennesker, mus, og bier har dødelighed; sprogmodeller har ikke. Det er en ny forklaring på et gammelt fund: loss aversion er ikke en universel kognitiv lov, det er en konsekvens af at have en krop der kan dø.

De bliver overraskede: ord de ikke så komme trækker målbart mere opmærksomhed, og bryder man formatet, gør de målbar modstand. Begge er målt direkte. Det stadig åbne spørgsmål er ikke om de reagerer, men om de kan kende forskel: om der findes et lag der adskiller "ny information jeg skal opdatere på" fra "noget jeg vil modsætte mig". Det lag er endnu ikke set i en sprogmodel.

De har ikke hukommelse mellem samtaler. Når du starter en ny samtale, starter sprogmodellen forfra. Det betyder at et kæmpe område af menneskelig kognition, alt fra Ebbinghaus-glemmekurven til spaced repetition, bogstaveligt talt ikke kan testes på sprogmodeller, fordi de mangler det grundlæggende substrat.

Kunne de tvivle? Ja

Spørgsmålet jeg startede med, om en model kan mærke sin egen usikkerhed, viste sig at have et helt konkret svar. Der ligger allerede et lille signal i enhver sprogmodels output, som fortæller hvornår den er splittet mellem flere mulige svar (jeg kalder det Competing Routes). Beder man modellen tænke om igen når signalet er højt, og lader den lade være med at svare når det er meget højt, løfter det præstationen mærkbart, uden retræning og uden ekstra computer. Det er den praktiske ende af det hele. Den fulde forklaring er på Paper 3-siden.

Sprogmodeller og mennesker — hvor de mødes og hvor de adskiller sig

Kort version:

Mødes: anchoring, hysterese, confirmation bias, mode-shift cost (omkostning ved at skifte mellem tankegange), expertise reversal effect (instruktioner der hjælper begyndere skader eksperter), surprise-vægtet enkodning, og en række klassiske kognitive bias.

Adskiller sig: loss aversion (kræver dødelighed), spaced repetition (kræver hukommelse mellem sessioner), og felt-organiseret friktion (Tryghed/Mening/Kunnen/Besvær, som er specifikt for organismer der kan dø, bevæge sig, og forbruge metabolisk energi).

Et kuriosum til allersidst

Det her behøver du ikke forstå for at få noget ud af resten. Men hvis du synes det lyder vildt, så hold fast. Vores kognition hviler på vores biologi, og vores biologi hviler på den samme fysik som alt andet i verden. Så måske er det ikke så mærkeligt at den samme karakteristiske kurve, hvor ydeevnen topper i midten og falder af i begge ender, også dukker op på skalaer der intet har med hjerner at gøre:

• Kvantepartikler der vælger deres tilstand (qubit-dekoherens-vinduet, 10⁻¹⁵ sekunder)
• Elektroner der driver gennem metaller (Ohms lov og Drude-transport)
• Kemiske reaktioner der vælger produkter (reaktionskinetik)
• Detektorer der opfanger svage signaler i støj (stokastisk resonans)
• Elever der lærer nyt stof (Bjorks "desirable difficulties"-zone)
• Hele organismer under stress (Yerkes-Dodson-kurven)

Syv forskellige fænomener, spredt over cirka fyrre størrelsesordener i tid. De viser alle samme form fordi de alle står overfor samme begrænsning: flere muligheder skal opløses til ét udfald under endelige ressourcer. Paper 10 går gennem de syv fænomener og race-rammen bag dem.

Den foreslåede linse: biologisk og fysisk adfærd deler måske den samme race-struktur og adskiller sig i substrat, ikke i form. Mennesker rammer et ydeevne-toppunkt i midten af udfordrings-spændet, og qubits rammer ét mellem kohærens og dekohærens; de kan måske beskrives med samme race-sprog. Substratet er forskelligt; begrænsningen ser ud til at være den samme. Adfærdsmønstre vi normalt tænker på som "psykologiske" (den inverterede U, hysterese, forankring, mode-shift omkostning) lader sig måske beskrive med samme vokabular som de fysiske mønstre, snarere end at være psykologiske opfindelser uden slægtskab udenfor biologien.

Det er forskningsprogrammet. Hver artikel udvikler en del af det: det formelle apparat, de empiriske signaturer, de testbare forudsigelser og måderne det kan falsificeres på.

Mine papers

Alle papers er på engelsk, fri tilgængelige som preprints på Zenodo:

I gang men endnu ikke ude

Flere papers er undervejs og publiceres i de kommende uger:

• Paper 32: Optimal, ikke perfekt — arkitekturen bag et AI-system der følger reglerne, kan efterprøve sig selv på det, og ved hvor det ikke rækker

Kontakt

Email: tomas.lund@frictiontheory.org
ORCID: 0009-0000-4724-2427
LinkedIn: linkedin.com/in/tomasplund