Finjustering presser tvivlen ud

Paper 2B · Pødenphant Lund (2026) · Læs på Zenodo

Jeg forsker i sprogmodeller for at forstå, hvordan de holder på viden.Finjusterede sprogmodeller giver mere selvsikre fejlsvar end RAG-baserede på præcis samme viden. Grunden ligger i selve træningen. Hvert gradient-skridt forstærker den rute der vandt, og presser alternativerne en anelse længere ned; gør det tusinder af gange, og de er væk. Det kan aflæses direkte i modellens output, ord for ord. Overraskende konsekvens: i det her forsøg gjorde finjustering modellen dårligere til at anvende viden, end hvis den slet ikke havde fået den.

Hvad handler det om?

Der findes to standardmåder at give en sprogmodel ny viden på. Du kan beholde den i prompten. Det er in-context learning (ICL); RAG (retrieval-augmented generation) er den mest udbredte praktiske anvendelse af den tilgang. Eller du kan træne det ind i modellens vægte, typisk via en metode kaldet LoRA. Det er fine-tuning (FT). Den gængse opfattelse er, at RAG og fine-tuning er to alternativer på en omkostnings-akse: RAG/ICL er dyrere at bruge (man slæber den hentede kontekst med), FT er dyrere at lave (man skal faktisk træne), men man ender med "samme viden" enten vej.

Man ender ikke med samme viden. Man ender med viden holdt på to forskellige måder, og forskellen viser sig skarpt i modellens adfærd. Det er ikke to implementeringer af den samme hukommelse. Det er to forskellige måder at holde på den.

Mekanismen i ét afsnit

Hver gang man tager et gradient-skridt på en sprogmodel (hver baglæns kørsel under det sædvanlige loss) forstærker man den rute, der producerede det "rigtige" svar, og presser alternativerne nedad. Gør det én gang, og effekten er lille. Gør det tusinder af gange, og alternativerne bliver presset under støjgulvet. De er reelt væk fra den fordeling, modellen kan hente frem. ICL gør ikke det her. ICL fører prompten fremad gennem modellen, og modellen producerer et svar. Fordelingen over kandidat-svar er der stadig; den bliver bare beregnet undervejs.

Kompressionen kom på alle de træningsdata, vi prøvede, så den er en strukturel følge af, hvordan træning virker, og ikke af noget bestemt i dataene. Men den kommer ikke i samme tempo uanset hvad. Varierer man formuleringerne under træningen, går det målbart langsommere, og det kommer igen længere nede.

Det der bliver målt

Fundet hviler på ét tal, aflæst ord for ord. Ved det første ord i svaret ser man på afstanden mellem modellens bedste og næstbedste kandidat. Ligger de tæt, er der stadig et kapløb i gang. Er der langt imellem dem, har ét svar vundet så rent, at intet andet er inden for rækkevidde. Det tal, målt i nats, er det der vokser under træning.

Det er ikke nyt, at finjusterede modeller hallucinerer mere. Det er dokumenteret i adfærden hos Gekhman og kolleger og på aktiverings-niveau hos Shen og kolleger. Det nye her er aflæsningen i selve output-laget, plus tre ting: en dosis-respons fra 5 til 100 epochs, der bliver ved med at stige, selv efter træningsnøjagtigheden har lagt sig; en kontrol med matchet regnetid, der viser hvad dataene i sig selv gør; og broen til et fund, der før var bundet til RLHF, og som nu også gælder almindelig LoRA-finjustering på uskyldige fakta.

Hvad eksperimenterne viste

Forsøgene kørte på en opfundet videns-base med 47 fakta kaldet "Zorbetik", opfundet så modellen ikke kunne kende noget i forvejen, på Qwen2.5 base-modeller ved 3B og 7B parametre, med LoRA-budgetter fra 5 til 100 epochs.

• ICL vinder på genfinding med 16–28 procentpoint. Modellen der lige er blevet fortalt et faktum, svarer bedre end modellen der er blevet trænet på det.
• FT gør anvendelse værre. Ikke bare værre end ICL, men værre end helt uden kontekst. At træne viden ind forringede modellens evne til at bruge den viden på relaterede spørgsmål.
• Kapløbet lukker sig i takt med træningen. Afstanden til næstbedste svar går fra 5,46 nats under ICL til 17,85 efter 30 epochs og 20,60 efter 100. Under kontrollen med matchet regnetid, hvor tre forskellige tilfældige start-tilstande blev kørt, går den fra 14,82 ved omkring 1.410 gradient-skridt til 17,69 ved omkring 7.050. Det er mængden af træning, der driver det.
• Entropien går i nul. Under ethvert testet FT-regime falder usikkerheden ved det første svar-ord fra 0,32 under ICL til praktisk talt nul.
• Variation i træningsdata beskytter. Trænes det samme faktum i flere formuleringer, holder kapløbet længere åbent. Ved matchet regnetid er afstanden 4,5 nats smallere end ved rå træning ved 1.410 skridt, og 2,3 nats smallere ved 7.050. Genfindingen ligger fladt på 86–88 procent hele vejen, så det er kalibreringen der flytter sig, ikke om modellen kan svare.
• Formatet afgør, om der overhovedet installeres noget. Kan svaret kopieres fra det, der står i træningseksemplet, installerer der sig ingenting: nul procent genkald på nye spørgsmål. Skjules svaret, så modellen selv skal frembringe det, installerer det sig næsten fuldstændigt, 97,5 til 100 procent. Det gælder, uanset om brugerens tur er stillet som spørgsmål eller som udsagn. Det er kopierbarheden, der afgør det.
• Det indtrænede bliver forsvaret, men er ikke immunt. Et opdigtet faktum trænet ind til perfekt genkald, 40 ud af 40, bliver alligevel overskrevet af en modsigende tekst i konteksten på 40 procent af spørgsmålene. Og de spørgsmål, det taber, er ikke dem hvor dets eget svar stod svagest.

Der er en rettelse værd at have med, fordi den gik den anden vej end ventet. En tidlig kørsel med kun én start-tilstand så ud til at vise, at varieret træning komprimerede mere end rå, 21,12 mod 17,85 nats. Den sammenligning holdt ikke: den varierede kørsel havde omkring fem gange så mange gradient-skridt, så den målte mængden af træning og ikke variationen. Kontrollen med matchet regnetid og tre start-tilstande vender retningen om, og det er den, tallene ovenfor kommer fra.

Hvorfor det her er vigtigt

Selvsikker hallucination

FT-trænede modeller hallucinerer selvsikkert, fordi alternative svar er komprimeret uden for rækkevidde. Det "jeg er ikke sikker"-signal, der normalt ville flage et forkert svar, er væk, ikke fordi modellen er sikker, men fordi det substrat-signal der bærer usikkerheden, er presset under støjgulvet. Modellen lyver ikke om sin selvsikkerhed; den del af dens beregning, der ville have givet den betænkeligheder, er blevet stille.

Agentiske systemer kan ikke repræsentere usikkerhed, når de er FT-only

Et system bygget på en finjusteret model kan ikke pålideligt fortælle sin operatør "det ved jeg ikke" eller "jeg er kun 60 procent sikker". Det signal, der ville have leveret den information, er komprimeret. Det er strukturelt og ikke en fejl ved en bestemt træningskørsel.

RAG og finjustering, set på substrat-niveau

Debatten mellem RAG og fine-tuning får en dimension mere. RAG opererer i ICL-mode: hentede dokumenter trækkes ind i prompten, modellen evaluerer dem fremad, kalibreringen bevares. Finjustering komprimerer den som en strukturel følge. Valget mellem dem er dermed også arkitektonisk og ikke kun et spørgsmål om driftsomkostning. Det står ved siden af det arkitektoniske argument, RAG-litteraturen selv rejste, og erstatter det ikke.

Long-context agenter arver kalibreringen gratis

Claude Code, Cursor og enhver flertur-samtale opererer i ICL-mode som standard: hver tur genevaluerer hele konteksten uden vægt-opdatering. De arver kalibrerings-egenskaben automatisk. Det er grunden til, at en lang agentisk samtale kan føles mere ærlig end en finjusteret chatbot på samme viden. Signalet er stadig intakt.

Hybride arkitekturer, og hvad de ikke kan regne med

Det oplagte design er at lægge den stabile, billige viden i vægtene og bruge konteksten til den del af ræsonneringen, der skal kunne holde tvivlen åben. Papiret foreslår en konkret sammensætning af den slags. Men det sidste forsøg sætter en grænse for den: et faktum, der er trænet ind til perfekt genkald, bliver stadig overskrevet af en modsigende tekst i konteksten to gange ud af fem. Et hybridt design, der regner med, at hentet kontekst pålideligt retter en finjusteret fejl, regner med for meget. Det indtrænede bliver forsvaret, ikke overgivet, og heller ikke fastholdt.

Hvad det her ikke påstår

Finjustering er testet både som LoRA og med alle parametre, og begge former viser den samme monotone kompression. De adskiller sig i tempo, men dér er der et forbehold: de to kørsler bruger forskellige læringsrater efter almindelig praksis, og der er ikke kørt et sweep. Forskellen i tempo kan derfor delvist være en effekt af læringsraten frem for af antallet af frie parametre. Enkelt tilfældig start-tilstand i de første forsøg, tre i kontrollerne med matchet regnetid, i alt 42 træningskørsler. To modelstørrelser, 3B og 7B, altså under en tierpotens. Ét opfundet domæne. Ved de længste træningsforløb faldt én start-tilstand tydeligt uden for de andre, så enkeltmålinger dybt inde i træningen skal læses med større varsomhed end de korte. Forsøgene med modsigende kontekst er 40 spørgsmål per prøve, én start-tilstand, én modelfamilie, og på det ene af dem afhænger den præcise fordeling af, hvem der dømmer svarene. Retningen gør ikke.

Relaterede papers

• Paper 3 (Friction-Guided Inference) — bruger det kalibrerede signal, som ICL bevarer og finjustering komprimerer.
• Paper 30 (Natur og opdragelse i en sprogmodel) — hvad finjustering ellers lægger ind: en tilbøjelighed, ikke et register af fakta.
• Paper 0 (BFT) — den adfærdsmæssige ramme bag begrebet friktion.

Det fulde paper er på Zenodo: DOI 10.5281/zenodo.20145218. Papiret hedder Per-Token Confidence Trajectory in LoRA Fine-Tuning: Substrate-Output Evidence for Cumulative Calibration Collapse.