Giv modellen en chance til
Paper 3 · Pødenphant Lund (2026) · Læs på Zenodo
Det var her, det hele begyndte.Jeg ville se, om en sprogmodel kunne blive bedre af at tvivle. Den åbne model Qwen3-235B svarer rigtigt på 41,1 procent af spørgsmålene i SimpleQA. Beder man den tænke om igen på den måde, der passer til netop den model, stiger den til 51,8 procent, forbi både GPT-4o på 38,0 og GPT-4.1 på 40,0. Ingen gentræning, ingen ekstern kontrol. Løftet kommer fra at give modellen en chance til under de rigtige betingelser.
Modellen ved det ofte godt
En sprogmodel, der svarer forkert, mangler tit ikke viden. Det rigtige svar ligger ofte blandt dens bedste kandidater, med en god portion sandsynlighed, men et en anelse mere sandsynligt forkert svar vinder. Papiret kalder det bindingsgabet: opslaget lykkes, men bindingen svigter.
Den forskel afgør, hvad man kan gøre ved det. Et bindingsgab kan lukkes ved at bede modellen om svaret igen under andre betingelser, så den trækker på ny og nogle gange lander på det rigtige. Et rigtigt videnshul, hvor det korrekte svar næsten ingen sandsynlighed har, kan ikke.
Hvad der løfter, og hvad der ikke gør
Det vigtigste fund i papiret er et, der gik imod forventningen. Signalet i modellens output kan fortælle, hvornår den er i tvivl. Den oplagte idé var at lade signalet vælge svaret: stol på det første svar, når signalet er lavt, og på det nye, når det er højt. Det blev testet på tre celler, og det virkede dårligere end bare altid at stole på det nye svar. Minus 1,7, minus 1,6 og minus 6,1 procentpoint.
Løftet kommer altså fra strategien, ikke fra signalet. Signalet har stadig en rolle, men en anden: det bruges, når man kalibrerer, til at se hvor i opgaverne friktionen sidder, og hvilke dele ingen strategi når. Hvilken strategi der virker, afgøres ved at tælle, hvor mange svar den redder. Og hvornår modellen skal lade være med at svare, afgøres af et andet mål, entropien.
Signalet
Signalet hedder competing routes, konkurrerende ruter: hvor mange kandidater til det næste ord, der har en reel portion sandsynlighed på hver position i svaret. Det kommer gratis fra enhver API, der returnerer sandsynlighederne.
Et eksempel. Modellen svarer på "Hvad er hovedstaden i Frankrig?", og de bedste kandidater er "Paris" med 0,96, "paris" med 0,02 og "The" med 0,01. Kun én er reelt med. Et tanke-skridt i en svær opgave kan i stedet se sådan ud: "ja" 0,32, "nej" 0,28, "måske" 0,21, "det" 0,14. Nu er fire med, og kapløbet er åbent.
Signalet opfanger, hvornår modellen er usikker. Som fejl-detektor ligger det på 0,64 til 0,77 i AUROC på de celler, hvor noget overhovedet virker. Det siger ikke, hvilket svar der er rigtigt.
Strategien skal passe til modellen
Der findes ikke én strategi, der virker overalt. Trin-for-trin-ræsonnering er bedst for Qwen2.5 på matematik. For LiquidAI's model er det verifikation, og for Qwen3 på MMLU-Pro er det at indsnævre spørgsmålet. At udfordre modellens svar skader på SimpleQA og på Qwen3's MMLU-Pro, gør ingen forskel for LiquidAI og hjælper kun på Cogito.
Derfor skal pipelinen kalibreres til hver model og hver type opgave. Det kræver et sæt på 50 til 200 spørgsmål med kendte svar og omkring to timers kald til modellen. Der ændres ikke på vægtene. Det minder mere om et helbredstjek før udrulning end om at træne en model.
Pre-mortem virker, men ikke af den grund man skulle tro
Pre-mortem er teknikken fra menneskelig beslutningstagning, hvor man forestiller sig, at projektet allerede er gået galt, og spørger hvorfor. Den er en af strategierne i suiten, og den løfter på nogle opgaver.
Men gevinsten sidder et bestemt sted. Den er størst, hvor en forhastet prompt har fået modellen til at melde pas på spørgsmål, den faktisk godt kunne svare på. Dér henter pre-mortem den viden frem, som hastværket havde lukket inde. Hvor modellen i forvejen tænker sig om, er gevinsten lille. Og intet simpelt signal i sandsynlighederne kunne på forhånd udpege, hvilke spørgsmål en strategi ville redde. Det ekstra kald bør derfor udløses bagefter, når svarene er uenige, i stedet for at blive sorteret på forhånd.
Resultaterne
Fire celler, målt på spørgsmål der ikke var brugt til kalibreringen. Alle fire er statistisk sikre, og gennemsnittet er 11,8 procentpoint:
- Qwen2.5-7B på MATH-500. Fra 45,8 til 66,5 procent, altså 20,8 procentpoint op.
- Qwen3-235B på SimpleQA. Fra 41,1 til 51,8 procent, 10,6 op, og forbi GPT-4o og GPT-4.1.
- Qwen3-235B på MMLU-Pro STEM. Fra 55,2 til 62,9 procent, 7,7 op.
- LiquidAI LFM2 på MMLU-Pro STEM. Fra 33,8 til 41,9 procent, 8,1 op.
Lader man desuden modellen afstå på de spørgsmål, hvor entropien er højest, stiger andelen af rigtige svar blandt dem, den besvarer, med 9,0 til 15,7 procentpoint ved 20 procent afståelse. Det er den kendte afvisningsmulighed, som går tilbage til Chow i 1970, og papiret bruger den frem for at foreslå den. Med begge dele sat sammen gav kørslerne 12 til 21 procentpoint, men de kørsler rangerede afståelsen efter rute-signalet, og entropien er en anelse bedre. Derfor står det tal som en driftsnote og ikke som et hovedresultat.
Friktionsloftet
Der er en grænse, som ingen metode bygget på de her sandsynligheder kommer over. Er modellen sikker og forkert, er der ingen tvivl at opfange. Signalet måler, hvad det koster at vælge mellem ruterne, ikke hvilken rute der er den rigtige.
Papiret viser grænsen med en femte og sværere celle: GPT-oss-20B på GPQA Diamond, 198 videnskabsspørgsmål på ph.d.-niveau. Dér opfanger ingen af de tre signaler, der blev testet, fejlene. Den celle er med som det negative tilfælde, der viser, hvor langt metoden kan nå.
Hvad det ikke påstår
Signalet overføres uden ændringer mellem de arkitekturer, der blev testet: en almindelig transformer, en mixture-of-experts og LiquidAI's netværk, som ikke bygger på attention. Men det er ikke en påstand om, at det virker på alle modeller. Mixture-of-experts-modellen er stadig en transformer, og resultatet fra LiquidAI er én model på én opgave med lav udgangsnøjagtighed. Om det holder bredere, er et åbent spørgsmål.
Pipelinen skal kalibreres til hver model og hver type opgave, og kalibreringen kræver et sæt spørgsmål med kendte svar. Prisen afhænger af udbyder og modelversion.
Relaterede papers
- Paper 0 (BFT) — den adfærdsmæssige ramme bag begrebet friktion.
- Paper 21 (Mount Stupid i maskinen) — den samme aflæsning af kapløbet, brugt til at måle i stedet for at forbedre.
- Paper 30 (Natur og opdragelse i en sprogmodel) — hvad man kan træne ind i en model, og hvad man ikke kan.