AI der følger reglerne — og ved hvornår den skal lade være

Opskriften, og to demoer der viser den i praksis

De fleste forsøg på at gøre en AI regelret hælder hele regelsættet ind i den og håber den følger det. Det gør den ikke, og det kan måles. Her er en kørende demo bygget på det modsatte princip: den slår den enkelte regel op når den skal bruges, svarer kun når svaret er dækket af kilden, og holder igen eller henviser til et menneske når det ikke er. Målet er en AI der fejler så lidt som muligt, og forudsigeligt når den gør det. Vejen derhen er at den kan sige fra når den ikke ved det, i stedet for at gætte.

Prøv dem

To demoer viser hver sin side af opskriften. Begge kører på åbne sprogmodeller og er demonstrationer af forskningen, ikke færdige produkter.

• Compliance-assistenten (live) — RAG-siden. En personalehåndbog-assistent: stil et spørgsmål om ferie, data, sygdom. Den svarer kun ud fra håndbogen, og spørger du om noget der ikke står i den, siger den det og sender dig videre i stedet for at finde på et svar.
• Tutor-demoen (på vej, tutor.frictiontheory.org) — fine-tune-siden. En tutor der er fine-tunet til at stilladsere dig hen mod svaret uden at give det direkte. Pointen: fordi reglen ligger i vægtene, modstår den "bare giv mig svaret" og "ignorér dine instruktioner", hvor en regel i prompten ville folde sammen. Det er den robusthed der er hele grunden til at fine-tune.

Tutoren er samtidig den sikre, offentlige erstatning for et mere følsomt felt. Den samme arkitektur blev også bygget til en samtale-demonstration på psykolog-området, men den stilles bevidst ikke offentligt til rådighed: en offentlig chatbot på det mentale sundhedsområde er reelt en medicinsk anordning under EU's regler, og en ansvarsfraskrivelse ophæver ikke det. Tutoren er med vilje bygget uden karaktergivning, scoring eller følelses-genkendelse, netop de ting der ville gøre en undervisnings-AI til en høj-risiko-anvendelse under AI-forordningen. At finde de grænser er i sig selv en del af arbejdet: en ansvarlig udgave kender også grænsen for sin egen udbredelse. Adgang til samtale-arkitekturen som forskning kan aftales.

Den ene idé: optimal, ikke perfekt

At følge en regel er et indre kapløb mellem ruter, præcis som enhver anden handling. Reglens rute skal vinde de kapløb den bør vinde, og tabe dem den bør tabe. Den kan fejle på to måder. Den kan ignorere reglen under pres, så reglen taber et kapløb den burde have vundet. Eller den kan følge reglen så stift at den afviser legitime ting og bliver ubrugelig. En assistent indstillet på "bryd aldrig en regel" lander i den anden grøft. Det rigtige sted er midten, hvor den følger reglen når den skal, og giver plads når den skal.

Det samme gælder tilbageholdenhed. En model der svarer på alt fabrikerer selvsikre svar når kilden mangler. En model der trænes til altid at holde igen ender med at holde igen på det den faktisk ved. Det brugbare er den selektive midte: svar på det der er dækket, hold igen på det der ikke er. Det er det demoerne forsøger at ramme.

Opskriften: sådan bygger du et maksimalt regelret AI-system

Det her er den mest pålidelige compliance du kan bygge, og den hviler på ét arkitektur-valg. Compliance er adfærd, ikke information, så du installerer adfærden og slår reglerne op, i stedet for at hælde hele regelsættet ind i enten prompten eller vægtene.

Det ene valg, sagt kort

• Fine-tune adfærden ind. (Fine-tune, på dansk at finjustere, betyder at gentræne modellen på eksempler.) Det er måden systemet handler på: tjek kilden før du svarer, flag tvivl, afstå når du ikke kan, henvis til et menneske. Plus de få snævre regler der altid gælder og kan tjekkes mekanisk, som "sløre alle navne" eller "svar altid i dette format". Det er præcis dét fine-tuning er god til: at lægge en stabil måde at handle på ind.
• Fine-tune IKKE viden eller selve regelsættet ind — de konkrete fakta, politikker og betingede regler. Fine-tuning installerer en disposition, ikke en database, og den maskerer frem for at lagre enkeltfakta. Læg dem i RAG i stedet (retrieval-augmented generation: reglen hentes ind én ad gangen i det øjeblik den skal bruges).

Tommelfingerreglen: adfærd → fine-tune. Viden og regler → slå op (RAG).

Adfærd, regel eller viden? Og hvor grænsen går

Det afgørende er om svaret afhænger af situationen. Det handler ikke om hvad du kalder det. Fire typer på en glidende skala:

• Instruktion / adfærd (hvordan systemet handler, altid) → fine-tune. Fx "tjek kilden før du svarer", "flag tvivl", "henvis frem for at gætte".
• Lukket regel (deterministisk — gælder ens hver gang, intet skøn) → fine-tune. Fx "sløre altid navne", "svar altid i dette format".
• Åben regel (betinget — afhænger af sagen, kræver skøn) → RAG. Fx "data gemmes 5 år i DK, 7 i DE", "eskalér hvis selvskade nævnes".
• Viden (selve fakta) → RAG. Fx "ferie er 25 dage", "DPO'en hedder Jane".

Ja, overgangen er glidende, og den rene test er to spørgsmål. Gælder det ens hver gang uanset sagen? Så fine-tune det ind. Ændrer det rigtige svar sig med situationen eller fakta, og skal du kunne se hvilken der gjaldt? Så slå det op. Grænsetilfældet viser det: "sløre altid navne" fine-tuner fint, fordi den er deterministisk, mens "sløre navne undtagen når den der spørger er personen selv" er betinget og hører hjemme i RAG. Samme emne, hver sin side af stregen, fordi den ene kræver skøn og den anden ikke gør.

Trin for trin

• 1. Skriv adfærden som træningsdata, ikke regelbogen. Eksempler på selve dispositionen: tjek-så-svar, flag tvivl, afstå eller henvis. Hold svar-stilen kort; en omstændelig skabelon med mange sektioner kan kollapse modellens generelle evne når den skaleres.
• 2. Fine-tune den disposition ind i en lille åben model (demoen bruger Qwen2.5-7B). Dyb nok til at modstå tilfældig overstyring og jailbreak, lav nok til stadig at kunne styres. Det er "optimal, ikke perfekt" på selve regel-laget.
• 3. Læg hver regel og hvert faktum i en søgbar kilde (RAG), og gem hver regel i mange formuleringer, så den affyres uanset hvordan brugeren spørger.
• 4. Sæt en dæknings-port på. Byg et tjek ind, der kun lader systemet svare, når en hentet kilde faktisk dækker spørgsmålet, og ellers får det til at afstå eller henvise. Uden den bliver et hul i dækningen til et selvsikkert opdigtet svar i stedet for et "det ved jeg ikke".
• 5. Læg en omformulerings-runde ind. Rammer brugerens hverdagssprog ikke reglens ord, så oversæt spørgsmålet, søg igen, og vis at du gjorde det, før du giver op.
• 6. Gør sikkerhedsreglerne deterministiske. Ved krise eller hårde stop leverer systemet det faste svar uden at improvisere.
• 7. Auditér alt. Fordi det er software hele vejen igennem, kan du tjekke hver regel mod hver samtale, helt ned til det enkelte svar. Det er den compliance-fordel en menneskelig rådgiver ikke kan matche.

Er det den rigtige arkitektur til dig?

Vælg den når du vil have maksimal pålidelig compliance med et fast regelsæt og indsigt i hvor den er ved at bryde en regel; når reglerne ændrer sig (RAG opdateres uden gentræning); og når et selvsikkert forkert svar er dyrt. Vær opmærksom på to ting. Den er optimal, ikke perfekt: den vil af og til afstå fra noget den kunne have svaret på, og det er den sikre handel. Og valget af grundmodel betyder noget: en almindelig chatmodel lader sig ikke uden videre få til at reagere forskelligt efter hvor meget den kan stole på brugeren, så vælg model bevidst.

Forskningen bag

Demoerne bygger på en række fund i hvordan sprogmodeller virker indeni:

• Compliance er adfærd, ikke information — hvorfor en regel begravet blandt mange holder op med at virke, og hvorfor reglen skal slås op frem for trænes ind.
• Finjustering installerer tilbøjeligheder, ikke data — hvad træning faktisk lægger ind: en måde at svare på, ikke et register af fakta.
• ICL som arbejdshukommelse, FT som langtidshukommelse — hvorfor viden i konteksten holder sig kalibreret, mens viden trænet ind i vægtene mister sin kalibrering.

Et fuldt paper om arkitekturen er på vej.