Racet skal løbe

Paper 2D · Pødenphant Lund (2026) · Læs på Zenodo

Når du fortæller en model hvad informationen skal bruges til, før du giver den, ændrer du hvornår modellen forpligter sig.Hvis du fortæller en sprogmodel hvad du vil bede den om før du giver den fakta, laver modellen ikke mindre arbejde. Den laver det samme arbejde, bare på et andet tidspunkt. Den svære del af at generere et svar flytter sig tidligere i svaret, men den forsvinder aldrig. Du kan ikke rammesætte arbejdet væk. Du kan kun flytte det. Det er hvad titlen betyder: racet skal løbe.

Den korte version

Når en sprogmodel skriver, er hvert ord målstregen i et lille race mellem kandidat-næsteord. Nogle gange er én kandidat den oplagte vinder, og racet er forbi før det starter. Andre gange er flere kandidater tæt på, og racet er stramt. Hvordan du rammesætter den opgave du er ved at give modellen flytter hvornår det race sker i svaret. Rammen flytter konkurrencen; den fjerner den ikke.

Hvad "racet" er

Bag hvert ord en model producerer ligger en konkurrence. Modellen holder flere kandidat-fortsættelser på én gang, og den der kommer først ud vinder den position. Vi kan måle hvor stramt opløbet er ved at tælle hvor mange kandidater der stadig er seriøst med i kampen på hvert trin. Et højt tal betyder at modellen stadig er ved at beslutte sig; et lavt tal at den allerede har lagt sig fast. Jeg kalder det modellens rute-konkurrence, og jeg aflæser den direkte fra modellens eget output.

De to slags vink

Der er to måder at rammesætte en blok fakta på, før modellen læser dem:

• Et input-vink — at fortælle modellen hvilken slags data der kommer ("det her er kemi-fakta").
• Et formåls-vink — at fortælle modellen hvad den vil blive bedt om at gøre med dataene ("snart skal du beregne en egenskab ved at følge en kæde af trin").

Formåls-vinket er det der gør reelt arbejde. Input-vinket gør for det meste ingenting, fordi dataene som regel allerede annoncerer deres egen type. Modellen kan selv se hvilken slags ting den læser. Hvad den ikke kan se på egen hånd, er hvad du har tænkt dig at spørge om. Netop den manglende brik leverer formåls-vinket.

Hovedresultatet: det overlever finpudsningens fingeraftryk

Det reneste fund er en forskel mellem to versioner af samme model. En rå base-model (en der kun er trænet til at forudsige tekst) viser formåls-vinkets effekt tydeligt. Den instruktions-tunede version af samme model (den finpudsede, snakkesalige slags du normalt taler med) viser den meget svagere, ofte slet ikke. Det holdt på tværs af tre forskellige model-familier.

Det mønster er vigtigt af én bestemt grund. Hvis effekten kun dukkede op efter chatbot-træningen, kunne man mistænke at træningen havde opfundet den. Det er omvendt. Effekten er der i den rå model og bliver fladet ud af finpudsningen. Den mest sandsynlige grund er at finpudsnings-trinnet presser kandidat-konkurrencen tættere sammen, så det signal der var let at aflæse i den rå model bliver svært at se i den finpudsede.

At flytte arbejdet, ikke fjerne det

Man kunne forvente at et godt vink ville reducere den samlede mængde konkurrence modellen kommer igennem. Det gør det ikke. Hvad et formåls-vink gør, er at flytte konkurrencens top tidligere i svaret, et par ord. Modellen åbner racet mens den stadig læser vinket, i stedet for senere når den former svaret. Den samlede mængde arbejde forbliver omtrent den samme. Modellen skal forpligte sig til bestemte ord et eller andet sted; rammen ændrer kun hvor.

Retningen af flytningen afhænger endda af opgaven. Når modellen reelt endnu ikke ved hvad den vil blive spurgt om, sænker formåls-vinket den tidlige konkurrence, fordi det forhånds-indlæser de relevante ruter. Når spørgsmålet allerede staver opgaven helt ud, hæver det samme vink den tidlige konkurrence, fordi det nu er overflødigt og bare tilføjer endnu en måde at læse åbningen på.

Hvorfor to vink er værre end ét

At stable et input-vink og et formåls-vink oven på hinanden slår aldrig det bedste enkelte vink. Først lignede det at de to vink forstyrrede hinanden. En omhyggelig kontrol viste noget enklere og mere generelt: hvert ekstra ord i indledningen åbner sine egne små racer som modellen skal afgøre før den begynder at svare. Længere indledning, mere samlet arbejde. Omkostningen kommer fra længde, ikke fra at de to vink støder sammen. Den praktiske lære er gammel pædagogik i nyt tøj: hold opsætningen kort.

Hvad det er godt for

For enhver der skriver prompts. Det mest pålidelige greb er at fortælle modellen hvad du vil have informationen brugt til, og at sige det før dataene, ikke efter. Sæt formålet først. Ét velformet formåls-vink slår det at stable flere vink, og slår det at annoncere datatypen. Placeret efter fakta gør det samme vink næsten ingenting, for da har modellen allerede sat sit race i gang.

For at forstå læring generelt. Resultatet flugter med en lang tradition i psykologien: du husker og bruger information bedst når den måde du tog den ind på matcher den måde du senere har brug for den. Her dukker det princip op på maskinens niveau, hvor vi kan se præcis hvornår matchet sker.

Citat

Læs på Zenodo → · Teknisk version · Plain English version

Relateret på sitet:

• Paper 2 (Kapacitetsskalering) — hvordan modelstørrelse afgør hvor disse ramme-effekter overhovedet kan vise sig.
• Paper 2B (ICL vs finetuning) — rute-kompressionen under træning som forklarer hvorfor signalet svinder på instruktions-tunede modeller.
• Paper 16 (Læringens fysik) — det generelle "mere opsætning koster mere"-princip, udviklet for undervisning og kommunikation.
• Paper 1 (Friktionsteori) — det race-substrat-rammeværk denne artikel måler på.