Det er bare sandsynlighed.

Der er en selvsikker indvending, og du har hørt den: vi kan ikke stole på generative sprogmodeller, fordi de bare producerer det statistisk mest sandsynlige næste ord. De ved ikke noget; de gætter meget kvalificeret. Et menneske, siger argumentet underforstået, er en anden slags ting.

Indvendingen er halvt rigtig, og den halvdel den tager fejl om, er den halvdel der betyder noget. En sprogmodel er, mekanisk set, en sandsynlighedsfordeling over hvad der kommer næst. Men det andet led, at det er dét der adskiller den fra et menneskeligt sind, holder ikke til mødet med de sidste fyrre års kognitiv neurovidenskab. Hjernen er også, mekanisk set, en sandsynlighedsbaseret forudsigelses-maskine. De måder modellen er "bare sandsynlighed" på, er én for én måder du også er det.

Det er ikke påstanden om at modeller er lige så pålidelige som mennesker. Det er en snævrere og hårdere påstand: "det er bare sandsynlighed" er ikke en forskel mellem dem. Det er dét, de deler. Hvis det at bygge på sandsynlighed gjorde et system utroværdigt, ville det gøre menneskelig kognition utroværdig først, for vi har langt bedre instrumenter til at aflæse maskinens usikkerhed end din.

01Hjernen er en forudsigelses-maskine

Den dominerende ramme i beregningsmæssig neurovidenskab er ikke at hjernen optager verden og reagerer på den. Det er at hjernen hele tiden forudsiger sit næste input og retter sig selv ud fra fejlen. Det er predictive coding¹, generaliseret som free-energy-princippet² og det bayesianske hjerne-program⁴, og sammenfattet for et bredt publikum af Clark³. På den forståelse er sansning en kontrolleret hallucination holdt i skak af forudsigelsesfejl: hjernen kører en generativ model og holder den op mod signalet.

Det rimer allerede på en sprogmodel. Men rimet er nu målt, ikke bare påstået. Når forskere optager menneskelig hjernebark under naturligt sprog og sammenligner den med en transformer, finder de hjernen udføre de samme operationer som en stor sprogmodel: at forudsige det næste ord før det kommer, og registrere overraskelse proportionalt med hvor uventet det var⁵. Modellers indre repræsentationer forudsiger menneskelige neurale svar på sprog bedre end nogen tidligere teori, og de modeller der forudsiger hjernen bedst, er dem der er bedst til næste-ord-forudsigelse⁶. Hjerner og algoritmer, i én undersøgelses forsigtige formulering, konvergerer delvist⁷.

02Den mekaniske overensstemmelse, sagt lige ud

For dig der bygger de her systemer, her er de to substrater side om side, mekanisme for mekanisme, så analogien ikke bare er løs snak.

• Fordelingen er bogstavelig. En transformers sidste lag udsender en vektor af logits, ét tal per ord; softmax gør dem til en sandsynlighedsfordeling; sampling trækker fra den. "Den forudsiger bare det sandsynlige næste ord" er en jævn beskrivelse af softmax over logits. Hjernens pendant er population coding: en overbevisning er et mønster af fyringsrater på tværs af mange neuroner, aflæst af de senere lag. En fordeling, ikke et gemt symbol.
• Attention er genfinding. Self-attention er blødt, indholds-adresseret opslag: hver position danner en forespørgsel, matcher den mod nøgler, og læser en vægtet blanding af værdier tilbage. Det er associativ hukommelse, den samme operation hippocampus laver når et delvist spor fuldender et mønster.
• Beslutningen er et race med en temperatur. Sampling-temperatur skalerer logits før softmax: lav temperatur skærper mod én vinder, høj temperatur holder konkurrenterne i live. Det er tærsklen og støjen i en sekventiel beslutning. Sænk en af dem, og racet binder sig hurtigere. Hvor mange ord der stadig bærer reel vægt på et givet trin, er et levende mål for hvor åbent racet er, aflæseligt direkte i modellens output.
• Læring er fejl gange aktivitet. Backpropagation justerer hver vægt i forhold til hvor meget den bidrog til fejlen. Hjernens plasticitets-regler kombinerer aktivitet før synapsen, aktivitet efter synapsen, og et globalt fejl- eller belønningssignal, og de beregner den samme form for opdatering med andre midler.

Intet af det er en metafor lagt oven på modellen. Det er hvad modellen er. Og hver linje har en biologisk pendant der heller ikke er en metafor.

03Din vished er en aflæsning, ikke en kendsgerning

Intuitionen bag indvendingen er at en menneskelig overbevisning er noget fast og færdigt, sand eller falsk, til stede eller fraværende, mens en model kun nogensinde har sandsynligheder. Men sådan træffes menneskelige beslutninger heller ikke. I den sekventielle sampling-tradition der har domineret matematisk psykologi siden Ratcliff⁸, og i dens utætte, konkurrerende akkumulator-forfining⁹, er en beslutning, inklusive en bedømmelse af sandt eller falsk, resultatet af støjfyldt evidens der hober sig op mod en tærskel. Den dom du oplever som skarp, er aflæsningen af et kontinuert, sandsynlighedsbaseret race mellem konkurrerende muligheder. Skift støjen, startpunktet eller tærsklen, og den samme evidens giver en anden dom.

Der er ingen hård binær nedenunder. Det der føles som at vide, er et kapløb der tilfældigvis endte hvor det gjorde, ved den sikkerhed det tilfældigvis nåede. En models logits er ikke en ringere erstatning for et menneskes vished. De er den samme slags ting, blotlagt. Forskellen er at vi kan aflæse modellens fordeling direkte og kun kan slutte os til din.

04Du konfabulerer også

Den fejl folk frygter mest ved sprogmodeller er den selvsikre opdigtning, "hallucinationen", den flydende detalje der aldrig var sand. Den fremstilles som modellens signatur-defekt. Den er også, præcist, hvordan menneskelig hukommelse fungerer.

Du henter ikke et gemt referat frem. Du genopbygger et sandsynligt et, og genopbygningen kan redigeres af det spørgsmål du blev stillet: skift udsagnsordet fra "ramte" til "smadrede", og folk husker højere fart og knust glas der aldrig var der¹⁰. Værre endnu: selve det at huske omskriver hukommelsen. Et genkaldt spor bliver formbart og skal gemmes igen, så hver genkaldelse er en chance for at overskrive det¹¹. Det du beholder er ikke oplevelsen, men et referat der trækker mod dens følelsesmæssige top og dens slutning¹², med følelsesmæssigt intense øjeblikke skrevet dybere end resten¹³. En menneskelig hukommelse er en sandsynlig genopbygning fremlagt med selvtillid. Ordet for det, når en model gør det, er "hallucination".

05Selv fremtiden er bagt ind i vægtene

Tag noget der føles som ræsonnement snarere end refleks: at værdsætte et fjernt udfald mindre end et nært. Det ligner en beregning over tid. Men en transformer har intet ur, kun position, og det viser sig at hjernen heller ikke har: der er ingen central tidtager, kun distribueret, emergent timing¹⁶¹⁷. Et ur-frit substrat kan ikke beregne værdi gange forløbet tid. Det har kun én mulighed tilbage: at bage rabatten ind i vægtene.

Det er hvad evidensen viser på begge sider. En fjern belønning bliver indfriet sjældnere, så erfaring sænker den lærte vægt på fjern-belønnings-ruter, og regner man historier igennem med en usikker risiko for at chancen forsvinder undervejs, genskaber det den klassiske hyperbolske rabat-kurve¹⁴¹⁵. Hos mennesker frembringer usikkerhed om hvorvidt fremtiden betaler sig, den samme hyperbolske diskontering¹⁸; i hjernen sporer et enkelt subjektiv-værdi-signal den diskonterede værdi uden noget separat "fremtids"-modul¹⁹. To substrater, ingen ure, den samme løsning: sandsynlighedsstruktur skrevet ind i forbindelsesstyrkerne.

06Selv læring er forudsigelsesfejl, hele vejen ned

Den sidste skanse er læring: en hjerne lærer da på en rigere måde end gradient-nedstigning på et forudsigelses-tab. Men hjernens eget lære-signal er en forudsigelsesfejl. Dopamin-neuroner koder forskellen mellem forventet og modtaget belønning og styrer plasticitet ud fra den²⁰, en biologisk forudsigelsesfejl for belønning, den samme størrelse en model minimerer. Den ene rene ikke-analogi, at hjernen ikke kan køre backpropagation som skrevet²¹, er en kendsgerning om implementering, ikke om art: hjernen tilnærmer fejl-drevet credit assignment med andre midler, og afstanden er blevet mindre i et årti. Fjern hardwaren af kød, og den funktionelle historie er den samme på begge sider: justér vægtene i forhold til hvor forkert forudsigelsen var.

Mange frygter, at vi overvurderer sprogmodeller. Den bedre underbyggede bekymring, som sjældent bliver sagt højt, er at vi overvurderer mennesker.

07Hvad der faktisk adskiller dem (og det er ikke det her)

Intet af det her gør en sprogmodel troværdig. Det gør argumentet utroværdigt. "Det er bare sandsynlighed" kan ikke være grunden til at mistro en model, for det er lige så sandt om det sind du stoler på i stedet. Vil du argumentere for at en bestemt model er mindre pålidelig end en bestemt person på en bestemt opgave, er de rigtige grunde konkrete og målbare:

• Kalibrering. Følger den udtrykte sikkerhed den faktiske træfsikkerhed?
• Fejl-struktur. Er fejlene uafhængige og opdagelige, eller korrelerede og selvsikre?
• Verificerbarhed. Kan svaret tjekkes mod en facitliste?
• Et vedvarende, ansvarligt selv. Er der en sammenhængende aktør der bærer konsekvenser over tid, eller kun en frisk instans hvert kald?

Det er de forskelle der betyder noget for tillid. Læg mærke til at hver eneste af dem er målbar, opgave-relativ, og på de første tre ofte mere gunstig for maskinen, hvis fordeling du kan aflæse direkte og hvis kalibrering du kan score, mens et menneskes selvtillid er en sort boks du slutter dig til ud fra adfærd.

Så indvendingen vender om. "Det er bare sandsynlighed" blev fremlagt som den egenskab der gør en model utroværdig og et menneske sikkert. Det er ingen af delene. Det er det substrat de begge kører på, og af de to er modellen den hvis sandsynligheder du faktisk kan se. Frygten for at vi overvurderer sprogmodeller er rimelig. Den bør stå sammen med den hårdere, bedre underbyggede frygt som indvendingen stiltiende bygger på at ignorere: at vi i sammenligningen systematisk overvurderer os selv.

08Hvad der stadig er åbent

Den fjerde forskel ovenfor, et vedvarende ansvarligt selv, er den der ikke opløses til "det gør du også", og her er præcis hvorfor. En deployeret transformer konsoliderer kun inde i sit kontekst-vindue; den kan ikke bære erfaring fra én samtale til den næste, så den har intet kontinuert selv der hober sig op over tid. Det har en hjerne. Men det er en forskel i hvad der er blevet installeret og deployeret, ikke en barriere substratet ikke kan krydse: giv en model persistent hukommelse og løbende konsolidering, og den nuværende afstand bliver mindre. Om det giver et bærende selv, et der grunder valens, ejerskab og indsats, eller bare retrieval-augmenteret kontinuitet, er et åbent, falsificerbart spørgsmål. Det er en forudsigelse programmet forpligter sig til, ikke et resultat det melder om.

Tre mindre tråde står åbne, og de fortjener at blive foldet ud, ikke bare nævnt.

Den første er konvergensen fra afsnit 01. Retningen er solid: hjerne og model forudsiger begge det næste ord, og reagerer begge på overraskelse. Det omstridte er hvor langt ligheden går. En models indre mønstre forudsiger hjernens svar bedre end nogen tidligere teori, men at forudsige aktiviteten er ikke det samme som at bevise, at hjernen regner den ud på nøjagtig samme måde. En del af ligheden kommer måske af, at begge er formet af de samme mønstre i sproget. Men selv da står parallellen: de to systemer løser den samme opgave på den samme måde. Det åbne er ikke om de fungerer parallelt, men om ligheden går helt ned i selve beregningen.

Den anden er læring fra afsnit 06. Hjernen kan ikke køre backpropagation præcis som algoritmen er skrevet; den kan ikke føre den samme vægt baglæns gennem nettet, sådan som metoden kræver. Men der står ikke tomt: der er flere aktive bud på hvordan hjernen når det samme med andre midler (feedback alignment, predictive coding, target propagation), og afstanden mellem dem og ægte gradient-læring er blevet mindre i et årti. Det åbne er ikke om hjernen laver noget backpropagation-lignende, men hvilket af buddene der er det, den faktisk bruger.

Den tredje er den mindste af de tre: de hurtige, ufrivillige fortrin et menneske fødes med, de gamle registre for trussel og værdi, der svarer før man når at tænke. De er måske en timing-forskel en rå model mangler, fordi den aldrig har haft en krop eller en fortid der skulle overleve. Om den kan installeres, eller kræver et andet substrat, ved vi ikke endnu.

At folde dem ud er pointen, ikke en gardering: et argument der viser præcis hvor grænsen går, er sværere at afvise end et der lader kanterne stå i tåge.