Kreativitet set indefra

Paper 31 · Og hvorfor temperatur er en blindgyde · Læs på Zenodo

Kreativitet er ikke noget en sprogmodel har. Det er en egenskab ved hvordan den løber kapløbet mellem de mulige næste ord. Hver gang modellen skriver et ord, er der et lille væddeløb mellem kandidater: nogle ruter er brede motorveje (det oplagte ord), andre er smalle stier (det overraskende). Og det væddeløb kan aflæses indefra, i modellens egne sandsynlighedstal, uden at det koster noget ekstra. Det giver et svar på et spørgsmål mange stiller forkert: hvorfor gør det ikke modellen kreativ at skrue op for temperaturen?

Hvad andre allerede har vist

Interne mål per ord findes allerede i nabolitteraturen, og det skal siges med det samme. Yang, Li og Holtzman viste i 2025 med deres "branching factor", at alignment (den træning der gør en model hjælpsom) koncentrerer fordelingen, og mest ved de første ord; Mohammadi fandt i 2024 lavere token-entropi i alignede modeller. Åbningen her er altså ikke "ingen har læst indefra". Den er, at ingen har læst det som et kreativitets-instrument, holdt op mod bedømt nyhed gange værdi, og brugt til at forudsige hvor varieret output bliver.

Fund 1: kreativitet er et omvendt U, og temperatur rammer det ikke

Skubber man modellen mod det nye, med prompts der undertrykker det oplagte svar eller sprøjter fjernt materiale ind (det jeg kalder at ændre landskabet), så stiger nyheden støt. Men værdi og sammenhæng styrtdykker, når man skubber for langt. Så det der gør et svar brugbart, nyhed gange værdi, topper i midten: for smalt er banalt (det oplagte vinder altid), for bredt er volapyk (en rute for fjern til at hænge sammen vinder). Det er det samme omvendte U som ellers i teorien, optimum i midten. Og det siger noget pænt om frihed: brugbar frihed er at være fri i sin kontekst, ikke fri fra den. Konteksten er ikke kreativitetens fjende, den er den begrænsning der forvandler nyhed til værdi.

Den skarpe pointe: at skrue op for temperaturen gør ikke dette. Temperatur hæver ikke nyheden. Den smadrer bare værdi og sammenhæng og går lige i volapyk uden nogensinde at passere det kreative område. Geometrisk sagt: landskabs-grebet bevæger sig langs kurven, temperatur går ud over den. Det er den præcise grund til, at "skru op for temperaturen" aldrig gør en model kreativ.

Der var også et tegn på, at den optimale bredde afhænger af modelstørrelse (små modeller skal skubbes mere, store topper tidligt), men den del er vakkelvorn: den afhænger af hvilken dommer der bedømmer, så den står kun som en antydning.

Fund 2: det interne fingeraftryk af mode-collapse, graderet og ikke universelt

I to af tre model-familier (Qwen, Mistral) har den alignede model mindre konkurrence mellem ruter præcis ved valg-øjeblikket, de første ord, end sin rå base-søskende. Selve fænomenet, at alignment koncentrerer og mest ved starten, blev etableret af Yang og kolleger. Bidraget her er replikation med et uafhængigt instrument plus en raffinering: det er graderet og opskrifts-afhængigt, ikke universelt.

Den tredje familie (Llama-3.1) vender det nemlig om: dens alignede model er den mindst kollapsede af alle, bredest ved valg-øjeblikket og mest varieret i output. Det er et ægte modeksempel til billedet af at "alignment altid skærper". Det pæne er, at på tværs af de tre familier følger hvor meget alignment indsnævrer ruterne hvor meget den kollapser den faktiske output-diversitet. Målet rapporterer altså korrekt, hvor mode-collapset en model er; Llama-3.1 er bare knap nok kollapset. Netop den tredje familie var det, en reviewer krævede kørt, og den vendte forudsigelsen om og gjorde fundet stærkere.

På U-kurven sætter det en kraftigt alignet model på den smalle venstre arm. Løftestangen er at åbne ruterne igen ved valg-øjeblikket, ikke at skrue på temperaturen. Det giver også en testbar forudsigelse: man burde kunne finetune en base-model til at være mere kreativ, ikke ved bare at gøre den bredere (så tipper den i volapyk), men ved at bevare bredden ved valg-øjeblikket og samtidig installere den sammenhæng og styrbarhed, en base-model typisk mangler. Det forsøg er ikke kørt.

Fund 3: hvor varieret output bliver, målt i ét gennemløb

Man kan forudsige, hvor varieret en models output bliver, ud fra konkurrencen ved valg-øjeblikket i én enkelt generation, dér hvor de eksisterende metoder kræver tyve prøver eller en særlig prompt. Det fund blev faktisk stærkere undervejs. Yang og kolleger ledte selv efter den sammenhæng og fandt ingen. Reviewerne forlangte, at forklaringen på forskellen blev testet og ikke bare påstået, så jeg kørte ablationen på egne data, og den modbeviste min første forklaring: sammenhængen overlever fint deres eget leksikalske mål. Den ægte forklaring er range restriction: mit design manipulerer bredden, så prædiktoren har reel varians, mens deres ikke havde nogen bredde-manipulation. Og den ene model, hvor sammenhængen forsvinder hos mig, er netop den med det mest sammenpressede spænd. Et positivt fund dér hvor tidligere arbejde rapporterede nul, nu med den testede forklaring i stedet for den bekvemme.

Hvor sikkert er det

Det blev stress-testet med fire uafhængige dommere. U-formen holdt under tre af fire; den fjerde belønner volapyk og var uenig på én model, og det står åbent i artiklen. Størrelses-historien viste sig dommer-afhængig og blev derfor tonet ned. Den første review-runde gav major revision, hvis vigtigste krav var at køre den tredje model-familie, og det var netop den, der vendte forudsigelsen om og tvang den graderede omskrivning ovenfor. Den afsluttende runde kom tilbage som accept, og begge anmeldere sagde, at omvendingen gjorde artiklen stærkere.

Hvor det peger hen

Den dybe pointe er, at det at vælge en rute, der afviger fra det statistisk mest sandsynlige, er den samme begivenhed bag to ting, vi normalt studerer hver for sig: kreativitet, hvor afvigelsens værdi er nyhed, og fejl-rettelse, hvor et selvsikkert forkert standardsvar bliver overtrumfet af et korrekt alternativ, og værdien er korrekthed. Begge kræver en levende ikke-standard konkurrent ved beslutningspunktet. Det hårde, uløste tilfælde er det selvsikkert forkerte: et fladt signal med et forkert commit, hvor der ikke er nogen synlig konkurrent at åbne. Ét forbehold bærer resten: en mekanisme er noget andet end et færdigt værktøj, som ville kræve kalibrering per model og per datasæt.

Læs artiklen

Den fulde artikel er frit tilgængelig på Zenodo (koncept-DOI 10.5281/zenodo.20840284):

Læs på Zenodo → · Engelsk teknisk version · English version

Relateret på siden:

• Paper 1 (Friktionsteori): rammen om konkurrerende ruter, som målet her aflæser.
• At bruge AI godt: den praktiske ende, hvordan man får en model til at tænke nyt.