Hvad forsker du egentlig i?

Elleve spørgsmål alle kan forstå, og hvad jeg har fundet

Når jeg siger at jeg forsker i sprogmodeller for at forstå mennesker, er det næste spørgsmål altid det samme: jamen hvad undersøger du så? Det her er svaret, uden fagsprog. Hvert afsnit er et spørgsmål, man kan stille til middagsbordet, og et fund, der siger noget om ens eget liv. Tallene er rigtige, og der er link til den fulde gennemgang under hvert enkelt.

Først: hvorfor sprogmodeller, hvis det er mennesker jeg er ude efter?

Det er hele metoden, og den kan siges i én sætning. Alt hvad der følger, er bare eksempler på den. Den lange version står på Hvad sprogmodeller afslører om mennesket.

De elleve spørgsmål

1. Er det bedre at høre noget fire gange, eller at høre det på fire måder?

På fire måder, og forskellen er ikke lille. Jeg lavede 25 opdigtede fakta og lærte den samme model dem på to måder: én formulering gentaget, eller fire forskellige formuleringer. Samme træningstid, samme antal gentagelser. Bagefter testede jeg med spørgsmål, den ikke havde set før.

Det er Robert Bjorks ønskværdige vanskeligheder, som læringsforskningen har kendt i 30 år. Det nye er, at effekten også findes i et system uden søvn, motivation og hippocampus. Så den handler ikke om vilje. Variation åbner kapløbet igen, i stedet for at genafspille et kapløb, der allerede er afgjort.

2. Er det at kunne noget og at kunne bruge det to forskellige ting?

Ja, og det kan måles. Samme videnbase, to slags spørgsmål. At hente ét faktum frem er mættet ved en mellemstor model, omkring 90 procent, og derefter køber mere kapacitet næsten ingenting. At kæde flere fakta sammen går fra 2 procent til 85 procent hen over de samme modelstørrelser.

Samme viden begge steder. Det er belastningen, der er forskellig. Eleven der kan gengive, men ikke anvende, mangler ikke motivation. Han mangler kapacitet til at holde tre ting åbne på én gang. Fuld gennemgang: Capacity Scaling.

3. Hjælper det at sætte et billede på?

Kun hvis billedet peger samme vej som teksten. Et billede der bare gentager teksten, tilføjer stort set ingenting. Et pyntebillede, der ikke hører til, koster målbart, fordi systemet skal køre et lille kapløb bare for at konstatere, at det var støj. Det er den mekaniske forklaring på, hvorfor et dødssygt clipart-billede føles dødt: friktion uden gevinst.

Og det er ikke "billede kontra tekst", der er det aktive. Det er, hvor mange spor der peger på det samme. En sjov detalje: omkostningen ved pyntebilledet falder omkring ti gange, når modellen bliver stor nok. Friktion er kapacitets-relativ. Kun den, der er presset, betaler. Fuld gennemgang: Ruter, ikke modaliteter.

4. Kan man slette noget, man har lært?

Nej. Man lægger noget ovenpå. Lærer man en model et faktum, der modsiger det, den vidste, siger den pænt det nye. Men kigger man ind i tallene, sidder det gamle svar der stadig og konkurrerer. Ikke én eneste modsagt kendsgerning blev faktisk slettet.

Og det gamle ligger lige under overfladen: at lære det oprindelige igen tog omkring syv gange færre trin end at lære det fra bunden, og bare at skifte formuleringen omkring spørgsmålet lod noget af det gamle svar dukke op af sig selv. Det er Mark Boutons gamle pointe fra adfærdsneurovidenskaben, at gammel adfærd hæmmes frem for at slettes og vender tilbage når konteksten skifter. Forskellen er, at man her kan aflæse det direkte i stedet for at slutte sig til det fra adfærd. Fuld gennemgang: Finjustering skjuler gammel viden frem for at slette den, og på menneskesiden Hjernen har ingen slettetast.

5. Hvorfor glemmer vi?

Når modeller trænes på noget nyt, mister de deres gamle evner. Det hedder catastrophic forgetting, og det er blevet læst som skade på modellen. Fjerner man bagefter det lag, der blev lagt ovenpå, kommer den oprindelige præstation 100 procent tilbage. Viden var intakt hele tiden. Den var bare overdøvet.

Det er ikke skade, det er signal-omfordeling. Det er samme mønster, der gør, at et navn man ikke kan komme på pludselig popper op en time senere. Og det giver en testbar klinisk hypotese: dele af demens kan være svigt i at vælge trods bevaret viden. Mere på Hvordan hukommelse faktisk fungerer.

6. Hvorfor drukner man i for meget information?

En sprogmodel har et kontekst-vindue, en slags arbejdshukommelse med en kendt størrelse. Man skulle tro, den først gik ned, når vinduet var fyldt. Det gør den ikke. Man kan fremkalde et regulært informationskollaps længe før vinduet er fuldt.

Og det er ikke mængden i sig selv. Mere information åbner flere konkurrerende kapløb på én gang, og det der slipper op, er evnen til at holde dem alle kørende samtidig, ikke pladsen til at gemme dem. Overload er en driftsomkostning, ikke en lagerbegrænsning.

7. Hvornår har man besluttet sig?

Tidligere, end man tror. En sprogmodel skriver sit svar ét ord ad gangen, og man skulle tro, beslutningen faldt et sted undervejs. Den falder ved det allerførste ord. Man kan tælle, hvor mange kandidater der stadig er med i kampen lige dér, og aflæse hvor fast modellen har bundet sig. Tager man gennemsnittet hen over hele svaret, forsvinder signalet fuldstændigt. Man skal kigge præcis det rigtige sted.

Og så er der gåden, som enhver der bruger AI har mærket: siger man "tag dig god tid", tænker modellen sig bedre om, og siger man "svar med det samme", snapper den til et svar. Men modellen har ikke noget ur. Der er ingen reel tid at tage af. Alligevel virker ordene, og man kan se præcis hvor: ved det første ord falder antallet af konkurrerende ruter fra omkring 2,4 til 1, alene på ordenes betydning. Er en vane derimod trænet dybt ind i vægtene, er det første ord låst, uanset hvad man skriver til den.

Og det hjælper ikke altid at give plads til at tænke sig om. På en svær flertrins-opgave hæver "tag dig god tid" nøjagtigheden mærkbart. På en opgave, der er for svær for modellen, lader den ekstra plads den bare tale sig selv fra et heldigt gæt. Og på en hurtig ettrins-opgave vinder "svar på instinkt". Samme ord, modsat effekt, alt efter hvad opgaven kræver.

En ærlig grænse: det her er målt på modellens egen beslutnings-fysik. Det er ikke en måling af mennesker. At folk falder tilbage på vaner under pres, er en løs parallel, som modellen tilfældigvis illustrerer. Fuld gennemgang: Modellen har næsten besluttet sig ved sit første ord.

8. Hvorfor vejer et tab tungere end en tilsvarende gevinst?

Det er en anden måling end den ovenfor, og den handler om noget helt andet: hvor langt inde i forløbet et system binder sig. Kahneman og Tversky viste, at vi frygter et tab omkring dobbelt så meget, som vi nyder en tilsvarende gevinst. Men de sagde ikke hvorfor.

Min forklaring: en begrænset levetid presser dig til at beslutte dig tidligt, før du har set nok, fordi det kan koste dyrt at vælge for sent, når tiden løber ud. Den tidlige beslutning er tabsaversion. Sprogmodeller har ingen levetid at miste, og de binder sig da også senere, omkring 43-48 procent inde i forløbet på de modeller jeg har målt. At de går den modsatte vej er netop pointen: så er tabsaversion ikke en isoleret fejl i mennesket, men hvad der sker, når en begrænset levetid skubber én til at vælge for tidligt. Fuld gennemgang: Opdagelser og nye forklaringer.

9. Ved man mest, når man ved mindst?

Dunning-Kruger-kurven, at man er mest skråsikker når man ved mindst, er målt direkte i fire sprogmodeller. Den ser næsten ud som hos os. Der er intet ego at beskytte i en sprogmodel, så "folk er forfængelige" kan ikke være hele forklaringen. Fuld gennemgang: Hvorfor "ved lidt, tror meget".

10. Kan man mærke på nogen, at de er ved at sige noget forkert?

Ja, og det er den mest håndgribelige opdagelse i hele bunken. Modeller giver et lille signal fra sig, lige før de svarer forkert. Det svarer til den mavefornemmelse, du selv får, lige før du gætter. Signalet er gratis; det ligger allerede i det, modellen sender ud.

Brugt rigtigt løfter det enhver model med 12-21 procentpoint, og en åben model kommer forbi GPT-4o. Opsætningen koster omkring ti kroner. Fuld gennemgang: Opdagelser og nye forklaringer.

11. Kan man se, at nogen adlyder modvilligt?

Sig til en model: "svar i format A", men vis den eksempler i format B. Den følger format A 100 procent udadtil. Og den betaler for det: nøjagtigheden falder fra 70 til 48 procent. Den adlyder og gør modstand på samme tid, og modstanden er synlig i tallene, selvom lydigheden er total.

Det er nok den, jeg ville fortælle en HR-chef. Beslægtet: Compliance er adfærd, ikke information.

Den indvending du altid får

"Jamen de ligner os jo bare, fordi de er trænet på vores tekst."

Svaret hedder Zorbetik: et helt opdigtet forskningsfelt med opfundne begreber og fakta, der ikke findes nogen steder, så modellen umuligt kan have set det før. Mønstrene dukker op alligevel. Så det er ikke indholdet, den efterligner. Det sidder i selve måden, information bliver behandlet på.

Og hvis nogen går videre til "det er jo bare sandsynlighed", er der et helt svar på den: det er den hjerne, du sammenligner med, også.

Og den ubehagelige, hvis nogen vil have en pointe med det

Sprogmodeller er bogstaveligt talt bygget til at optage information. Uendelig tålmodighed, perfekt hukommelse inden for samtalen, ingen biologiske grænser for opmærksomhed. Hvis noget som helst system kunne læres noget ved informationsbombardement, ville det være dem.

Vi finjusterede en model på 47 fakta, med 100 gennemløb og alle de tricks vi har. Den blev dårligere end en model, der bare havde de samme 47 fakta siddende i sin prompt. Hvorfor har vi så antaget, at mennesker kan? Det folder jeg ud på læringssiden.