Det er bare sandsynlighed.
Ja. Og det er den hjerne, du sammenligner den med, også. Næsten hver måde en sprogmodel "bare gætter" på, gætter du også.
Du har hørt indvendingen: vi kan ikke stole på en sprogmodel, for det eneste den gør, er at vælge det mest sandsynlige næste ord. Den ved ikke noget; den gætter. Et menneske, siger argumentet underforstået, er en anden slags ting.
Halvdelen af det passer. En sprogmodel er, nede under, en maskine der gætter hvad der kommer næst. Men den anden halvdel, at det er dét der gør den anderledes end dig, holder ikke. For hjernen er også en gætte-maskine. Næsten hver måde modellen er "bare sandsynlighed" på, viser sig at være en måde du er det.
Det er ikke påstanden om at modeller er lige så pålidelige som mennesker. Det er en mindre og skarpere: "det er bare sandsynlighed" er ikke forskellen mellem dem. Det er dét, de har til fælles.
Din hjerne gætter det næste ord før det kommer
Det førende billede af hjernen i neurovidenskaben er ikke et kamera der optager verden. Det er en maskine der hele tiden forudsiger hvad der er lige ved at ske, og retter sig selv når den tager fejl. Når forskere optager en persons hjerne mens de lytter til tale og sammenligner med en sprogmodel, finder de hjernen gøre det samme som modellen: gætte det næste ord før det kommer, og reagere kraftigere jo mere overraskende det viser sig at være1. Det er ikke afgjort, og det er ikke identisk. Men retningen er klar: dit sprogsystem kører på forudsigelse, ikke på at slå ting op i en ordbog.
Din vished er en fornemmelse, ikke en kendsgerning
Det føles som om en overbevisning er en fast ting: enten ved du det, eller også gør du ikke. Men sådan træffes en beslutning ikke inde i dig. Når du bedømmer noget som sandt eller falsk, hober evidens sig op, støjfyldt, indtil den krydser en grænse, og så føler du dig sikker2. Rok ved støjen eller flyt grænsen, og den samme evidens giver et andet svar. Det du mærker som at vide, er i virkeligheden et kapløb mellem muligheder der tilfældigvis endte hvor det gjorde. En models liste over odds for sit næste ord er ikke en dårlig efterligning af din vished. Det er den samme ting, bare ude i det åbne hvor du kan aflæse den.
Du digter også
Den fejl folk frygter mest ved en model er den selvsikre løgn: det flydende, detaljerede svar der bare aldrig var sandt. Den bliver kaldt modellens signatur-fejl. Den er også præcis hvordan din hukommelse fungerer. Du afspiller ikke en optagelse. Du genopbygger en sandsynlig historie, og historien bøjer sig efter det spørgsmål du blev stillet. Spørg folk hvor hurtigt bilerne kørte da de "smadrede" i stedet for "ramte" hinanden, og de husker mere fart, og knust glas der aldrig var der3. Hver gang du husker noget, omskriver du det en lille smule4. En hukommelse er en sandsynlig genopbygning fortalt med selvtillid. Når en model gør det samme, kalder vi det en hallucination.
Så hvad adskiller dem egentlig?
Intet af det her gør en model troværdig. Det betyder bare at "den er kun sandsynlighed" er den forkerte grund til at mistro den. Vil du sige at en bestemt model er mindre pålidelig end en bestemt person på et bestemt stykke arbejde, er de rigtige spørgsmål nogle du faktisk kan tjekke:
- Passer dens sikkerhed med dens træfsikkerhed? Når den lyder sikker, har den så ret?
- Hvordan ser dens fejl ud? Tilfældige og nemme at fange, eller selvsikre og alle med samme slagside?
- Kan du tjekke svaret mod noget der er sandt?
- Er der nogen til stede over tid som bærer konsekvenserne, eller en frisk fremmed hver gang du spørger?
Det er de forskelle der betyder noget. Og på de tre første kommer maskinen ofte bedre ud af det, for du kan aflæse dens odds direkte og score hvor godt kalibreret den er, mens et menneskes selvtillid er en lukket kasse du kun kan gætte om udefra.
Mange frygter, at vi overvurderer sprogmodeller. Den bedre underbyggede bekymring, som sjældent bliver sagt højt, er at vi overvurderer mennesker.
Den ene ægte forskel på listen er den sidste: en model, sådan som vi kører den i dag, glemmer alt mellem samtaler, så der er ingen sammenhængende "nogen" der bygger sig op over tid. Det har en hjerne. Men det handler om hvad vi har bygget indtil nu, ikke en mur maskinen aldrig kan krydse. Giv den en varig hukommelse, og afstanden begynder at lukke sig, og om det giver et rigtigt selv eller bare en god hukommelse er et åbent spørgsmål, og et ærligt et. Det er en forudsigelse, ikke et færdigt resultat. At navngive den er pointen: et argument der skjuler sit svage punkt, er lettere at vælte end et der viser dig hvor det er.
Et par af kilderne
Det fulde argument lister alle enogtyve. Her er de få bærende.
- Goldstein, A., et al. (2022). Shared computational principles for language processing in humans and deep language models. Nature Neuroscience, 25(3), 369–380. 10.1038/s41593-022-01026-4
- Ratcliff, R. (1978). A theory of memory retrieval. Psychological Review, 85(2), 59–108. 10.1037/0033-295X.85.2.59
- Loftus, E. F., & Palmer, J. C. (1974). Reconstruction of automobile destruction. Journal of Verbal Learning and Verbal Behavior, 13(5), 585–589. 10.1016/S0022-5371(74)80011-3
- Nader, K., Schafe, G. E., & LeDoux, J. E. (2000). Fear memories require protein synthesis in the amygdala for reconsolidation after retrieval. Nature, 406, 722–726. 10.1038/35021052