Racet kan aflæses, ikke bare beregnes

Paper 1 · Pødenphant Lund (2026) · Læs på Zenodo

Papiret hedder A Per-Token Measurement Standard for Route-Competition in Language Models.

Jeg troede, jeg havde fat i en lov.At det koster noget at vælge, i alt hvad der skal vælge. Det princip holder. Det er bare ikke mit. Det stod i forvejen i litteraturen om sekventiel evidensopsamling og i de informations-omkostningsformuleringer, der udleder den, otte år før jeg skrev noget. Den brede påstand er derfor trukket tilbage af papiret, ikke fordi den er forkert, men fordi den var gjort. Tilbage står det, papiret faktisk leverer: et måleredskab til én substrat. I en sprogmodel kan konkurrencen mellem svarene aflæses direkte, token for token, uden at der fittes en model til den.

Hvad papiret gør, og hvad det ikke gør

Et system, der skal handle med begrænset tid og begrænsede ressourcer, kan ikke veje alle muligheder. Regnskabet for hvad det koster, er modent og veletableret: evidens hober sig op indtil en tærskel krydses, akkumulationen kan udledes af en informations-omkostning, og selve tærsklen flytter sig med hastværk. Papiret lægger ikke et aksiom til det regnskab og påstår ingen ny mekanisme.

Det lægger et instrument til. I de modeller er hver eneste størrelse noget, man slutter sig til bagfra ud fra et udfald: et valg, en reaktionstid, en fejlprocent. Konkurrencen, der frembragte udfaldet, bliver rekonstrueret ved at tilpasse en model til det ene tal. En sprogmodel viser konkurrencen på hvert eneste skridt i opsamlingen, én gang per token, uden at der tilpasses noget.

Hvis princip det er

Det er værd at sige rent, hvem formalismen tilhører, så ingenting herunder forveksles med en udledning af sit eget fundament. Landauers princip sætter en fysisk bund under enhver beregning, der reducerer informations-entropi; det er etableret fysik. Ortega og Braun gav i 2013 den termodynamiske formulering af, hvad en beslutning koster. Hébert og Woodford udledte i 2017 sekventiel evidensopsamling af en informations-omkostningsbetingelse, altså broen mellem opsamling-mod-tærskel og et omkostningsregnskab. Jung, Kim, Matějka og Sims fik i 2019 den diskrete og vedholdende binding, papiret her måler, ud af en Shannon-kapacitetsbetingelse.

Målingen er bidraget. Formalismen er deres.

Hvad ordet friktion dækker her

Friktion bruges hele vejen igennem som et lokalt navn for én målt størrelse: Shannon-entropien, målt i nats, af fordelingen over det næste token på en given position. Ordet er en etiket med en formel og en enhed på. Det er ikke et teoretisk grundbegreb og ikke en foreslået mekanisme, og hvor det falder sammen med en eksisterende formalisme, har den eksisterende formalisme fortrinsret og bliver citeret på stedet.

Det samme ordforråd bruges om adfærdsdata i levende væsner andre steder i arbejdet. Den forbindelse er et fælles sprog, ikke en udledning, og den hører ikke til i det her papir.

Hvorfor entropi, og ikke tællingen af ruter

Den oprindelige aflæsning var en optælling: hvor mange kandidater på en position ligger over en fast sandsynlighedsgrænse. Den er skiftet ud som primær måling. Tre ting talte imod den, og alle tre er grunde til at mistro sit eget instrument.

Hvor de to aflæsninger er uenige, er entropien målingen, og optællingen er det ikke. Optællingen er ikke smidt væk, for det er den form, materialet blev opsamlet i, og regnskabet føres frem for at blive skrevet om.

Et tal hører til en kørsel, ikke til en model

Samme model, samme spørgsmål, tre forskellige udbydere: gennemsnittene blev 1,24, 1,68 og 2,17. Det spænd er større end de fleste effekter, papiret overhovedet rapporterer, og de to yderpunkter kørte med samme nominelle vægt-præcision, så præcisionen forklarer det ikke.

Derfor er en absolut værdi en egenskab ved den kørsel, der frembragte den. En forskel mellem to værdier fra samme kørsel opfører sig bedre, men kun dér, hvor det er vist: papiret regner en forskel som bærbar, når den har overlevet et sweep over grænsen, en grænsefri erstatning, eller en anden servering. Ellers står den som foreløbig.

Hvad der holder, efter den standard

Papiret fører et regnskab over sine egne signaturer og sorterer dem efter den standard. To består.

Det praktiske, der følger: måler man virkningen af et prompt-greb, bør man måle friktionen ved siden af nøjagtigheden. Ellers kan en adfærdsændring blive tilskrevet en beregningsmæssig ændring, når det i virkeligheden er et valg af rute.

Friktionsloftet

Det her sætter en grænse for alt, hvad man kunne finde på at bygge oven på aflæsningen. Signalet skiller ikke en rigtig binding fra en forkert.

Selvsikker og rigtig ligger på 0,334 nats med interval fra 0,312 til 0,358. Selvsikker og forkert ligger på 0,346 med interval fra 0,327 til 0,365. Forskellen er −0,012 nats, og intervallerne overlapper. Usikker og rigtig mod usikker og forkert er lige så uskelnelige. Friktionen måler prisen for en binding, ikke om det bundne var rigtigt. Loftet står på én udbyder og de første 30 tokens, understøttet af to grænsefri erstatninger, men ikke serveret et andet sted.

Der er en detalje ved det. I omkring 80 procent af de selvsikkert forkerte tilfælde ligger det rigtige svar faktisk i fordelingen, og modellen passerer det med lavere friktion end sit eget niveau i stedet for at binde sig til det. Opslaget lykkes. Bindingen svigter.

Hvad det ikke påstår

Papiret påstår ingenting om biologiske substrater. Aflæsningen er defineret for én substrat, og enhver slægtskab er en dagsorden i et andet papir, ikke et resultat her. Det påstår heller ingen gradient på tværs af substrater; friktion, som den er defineret her, er kun målt i sprogmodeller.

Og så en indrømmelse, der går imod papirets eget instrument: rute-optællingen er ikke bedre end de gængse usikkerhedsmål til at forudsige fejl. På mærkede data er den i bedste fald på niveau med Shannon-entropien og med afstanden mellem det bedste og næstbedste svar, og på et større frit benchmark er den svagere end begge. Den bruges, fordi den er den mest direkte aflæsning af selve konkurrencen, og fordi den er gratis, ikke fordi den vinder. Påstanden handler om friktions-signalet, som alle tre mål opfanger, ikke om at netop det ene mål skulle være det rigtige.

Én signatur er trukket helt tilbage: sammenligningen mellem at læse spørgsmålet og at skrive svaret. De to arme blev serveret med forskellig talpræcision og med ulige antal, så tallet kan ikke bære noget. Fire andre står i papirets supplement som enkelt-servering eller retning alene, og det gælder blandt andet hysterese-målet og faldet i den efterfølgende opgave under belastning.

Endelig gælder aflæsningen almindelig svargenerering, hvor modellen skriver sit svar som én sammenhængende følge af tokens. Den gælder ikke ræsonnerende modeller, der først tænker i et adskilt felt og derefter svarer. De API'er, der findes i dag, returnerer sandsynligheder for begge faser sammen uden at markere, hvad der er hvad.

Relaterede papers

Papiret er på Zenodo. Koncept-DOI 10.5281/zenodo.20012654 peger altid på den nyeste version; den skårne udgave er version 5, 10.5281/zenodo.22071301.