Ruter, ikke modaliteter

Paper 26 · Hvorfor et billede ikke altid hjælper · Læs på Zenodo

Der findes en udbredt tommelfingerregel: sæt et billede på, så lærer man bedre. Den ses overalt, i undervisning, i præsentationer, i e-learning, og den passer ofte nok til at blive en sandhed, man ikke længere tænker over. Men den bliver også brugt i det ene tilfælde, den aldrig blev testet på: billedet, der ikke har noget med teksten at gøre. Spørgsmålet her er, hvad der sker, når det ekstra billede ikke hænger sammen med det, der står. Svaret peger på noget mere generelt end billeder og tekst, og det kan måles direkte som friktion i en sprogmodel.

Kerneidéen: det er sporene, ikke "billede vs. tekst"

Den almindelige forklaring giver æren til, at man krydser to sansekanaler, at det er selve kombinationen billede plus tekst, der er magien. Her er tanken en anden: det aktive er ikke modaliteten, men hvor mange spor der peger på det samme.

Tænk på det som et lille kapløb inde i systemet: hver indgang, et ord eller et billede, sætter et spor i gang mod et svar. Hvis billedet og teksten peger på det samme, lægger de sig oven i hinanden og styrker hukommelsen. Men hvis billedet ikke peger nogen steder hen, forsvinder det ikke gratis. Systemet er stadig nødt til at køre et lille kapløb for at konstatere, at det var støj, og det koster. Længde i sig selv starter kapløb; irrelevant længde er ren omkostning. Modalitet er bare én pålidelig leverandør af spor, ikke det magiske i sig selv.

Hvad idéen ikke påstår

Flere ting er for længst kendt og er ikke min fortjeneste. At man bliver bedre til at genkende billeder ved at træne på mange varianter af samme billede, er fundamentet under al billedgenkendelse (det er "flere spor til samme billede", trivielt). At billede plus tekst kan slå tekst alene, er udgangspunktet i hele feltet. Og at irrelevant materiale koster, at en sprogmodel bliver forstyrret af irrelevant tekst, og at et irrelevant billede gør en billedsprog-model dårligere, er allerede vist af andre. Selve det negative fænomen er altså ikke min opdagelse.

Det gælder også selve kapløbs-idéen. Inden for sanseforskningen har man siden 1960'erne og 80'erne formaliseret præcis dette spørgsmål: hjælper flere kanaler, fordi de kapløber (den hurtigste vinder), eller fordi de lægges sammen? Psykologen Jeff Miller gav i 1982 endda en standardtest for det, "the race model inequality", og gevinsten ved en ekstra, samstemmende kanal har sit eget navn: redundancy gain. Den formalisme har jeg arvet, ikke opfundet, og det siger jeg tydeligt i artiklen. Bidraget er forklaringen og hvad der styrer den, ikke fænomenet.

Hvad jeg faktisk finder

• Et billede, der bare gentager teksten, hjælper ikke. Når modellen allerede har navnet i teksten, tilføjer et tilsvarende billede stort set ingenting. Det holdt i tre forskellige forsøgsopstillinger og på tværs af to vidt forskellige modeltyper; pilen pegede endda en anelse den forkerte vej. Sagt i sanseforskningens sprog: der er ingen redundancy gain, dér hvor mennesker pålideligt får en gevinst.
• Et dekorativt, irrelevant billede koster. Hænger man et fremmed billede på et spørgsmål, teksten i forvejen kan besvare, bliver det målbart sværere for modellen at hente svaret frem. Det er kapløbet, der skal køres for at afvise støjen. Det er den mekaniske forklaring på, hvorfor et dødssygt clipart-billede føles dødt: friktion uden gevinst.
• At genkende et symbol er ikke det samme som at kunne bruge det. Modellen kan lære "dette symbol betyder stof X" næsten perfekt, og alligevel ikke kunne bruge symbolet til at hente X's egenskab frem. At lære en forbindelse og at kunne trække på den er to forskellige ting.
• Flere spor giver også bedre fastholdelse. Fakta lært via mange forskellige spor ser ud til at modstå at blive overskrevet, når modellen bagefter trænes på noget helt andet. Retningen er den samme på tværs af flere forsøg, men effekten er lille, så det er ikke et færdigt fund endnu.

Hvad afgør omkostningen? Størrelsen

Jeg gravede dybere i det dekorative billede for at finde ud af, hvorfor det koster. To ting kom ud: omkostningen vokser med, hvor mange "bidder" det irrelevante billede fylder (en ren trængsels-effekt, det samme sker med en lige så lang stump irrelevant tekst), plus et lille tillæg, der er specifikt for billeder.

Men det afgørende er, at hvor meget det koster, afhænger af modellens størrelse. Den store model kigger lige så meget på det irrelevante billede som den lille, men betaler alligevel ikke. Kører man samme modeltype i to størrelser, kollapser omkostningen omkring ti gange fra den lille til den store. Den store model har simpelthen båndbredde til at køre afvisnings-kapløbet gratis og løse opgaven; den lille har ikke. Det passer med hele seriens røde tråd: friktion er kapacitets-relativ. Kapløbet kører på alle modeller, men kun den, der er presset på ressourcer, betaler målbart. (Den fejlslagne forklaring, om billed-tokenisering, er rapporteret som testet og afvist, ikke fejet ind under gulvtæppet.)

En ekstra skærpelse: det er strukturen, ikke billedet

På en sværere opgave, at finde vej gennem et net af forbindelser, viste der sig noget, der skærper hele pointen. Modellen kan stort set ikke svare, når oplysningerne står som løbende tekst i tilfældig rækkefølge, men den kan godt, når de samme oplysninger står samlet i en struktur, enten en punktopstilling eller et diagram. Det aktive er altså co-lokationen, at tingene står samlet, ikke om det er et billede. Og her vender rækkefølgen om i forhold til mennesker: for os giver et diagram et gratis overblik, men for modellen er den strukturerede tekst lige så god eller bedre end diagrammet, og diagrammet er endda det dyreste (modellen skal "læse" billedet, og det bliver værre, jo større nettet er). Det er et tidligt, indikativt fund, men det peger samme vej: det er sporenes sammenfald, ikke modaliteten.

Hvorfor det er interessant

De to første fund er præcis de mønstre, man kender fra menneskelig læringspsykologi: at gentaget, overflødigt materiale ikke hjælper (redundans-effekten), at det at holde øje med to ting på én gang trækker fra i stedet for at lægge til (split-attention-effekten, fra John Sweller og kolleger), og at pyntebilleder, der ikke hører til, sænker indlæringen (det Shannon Harp og Richard Mayer kaldte "seductive details"-effekten). Jeg tester ikke mennesker. Jeg spørger, hvilke af disse menneske-mønstre der dukker op igen i et ikke-menneskeligt system, som målbar friktion. Det placerer artiklen i samme familie som de andre "samme mønster på tværs af substrater"-papers, de sociale reaktioner i Paper 23 og sansebedragene i Paper 24. Andre har for nylig også prøvet at overføre læringspsykologiens begreber til sprogmodeller; det nye her er, at jeg giver mekanismen (kapløbet) i stedet for blot en analogi, måler den som friktion, og finder de to ting, de andre ikke har: at omkostningen er størrelses-afhængig, og fastholdelsen.

Hvor det står

Grundlaget er færdigt, og mekanismen er afklaret: clipart-omkostningen er en kapacitets-gatet afvisnings-kapløbsomkostning, den kollapser når modellen bliver større, og den tidligere forklaring om billed-tokenisering er testet og forkastet. Fastholdelses-mønstret peger konsistent samme vej på tværs af fem opstillinger. Det er stadig småskala (få modelstørrelser, få fakta), og det siger jeg lige ud. Paperet har været gennem ekstern kritik, og det er en hypotese med et rigtigt mønster bag sig, ikke en færdig sag.

Læs artiklen

Den fulde artikel er frit tilgængelig på Zenodo (koncept-DOI 10.5281/zenodo.20679145):

Læs på Zenodo → · Engelsk teknisk version · English version

Relateret på siden:

• Paper 16 — Læringens fysik: hvorfor information-bombardement ikke lærer nogen noget, samme mekanik fra den anden ende.
• Paper 1 (Friktionsteori): rammen om konkurrerende ruter under begrænsede ressourcer.