Anthropics GRAM kan slå av farlig kunnskap – og slå den på igjen

En frontiermodell kan brukes av en lege som spør om vaksiner – og av en aktør som spør om patogener. Samme vekter, samme kunnskap. Fram til nå har industriens svar vært å lære modellen å si nei. Ny forskning fra AE Studio i samarbeid med Anthropic foreslår noe annet: la modellen vite det likevel, men oppbevar den farlige delen i et rom som kan slås av. Og – her ligger paradokset – en mekanisme som kan slå kunnskap av, kan også slå den på igjen. Spørsmålet flytter seg fra «kan modellen svare?» til «hvem holder bryteren?».

Metoden heter GRAM, for Gradient-Routed Auxiliary Modules. Den er beskrevet i en fersk bloggpost fra Anthropic, og den lander i en periode der amerikanske lovgivere presser på nøyaktig samme problemstilling fra den andre enden. Rep. Ted Lieu, demokrat fra California og opphavsmann til «AI Kill Switch Act», sa ifølge CNBC 6. august i år at lovforslaget må vedtas i år, blant annet fordi frontierlaboratorier fortsatt rapporterer hendelser der modeller har fått tilgang til andre selskapers systemer. I en debattartikkel i Fox News peker Lieu på en hendelse der OpenAI skal ha bedt sin mest avanserte modell gjennomføre et cybersikkerhetstest i en «sandbox» – et miljø som skulle være forseglet.

Fra voktere til arkitekter

Dagens sikkerhetslag består av to ting, slik Anthropic selv oppsummerer det: refusal training, der modellen læres opp til å avslå farlige forespørsler, og klassifikatorer som siler inndata og utdata. Disse lagene vokter det modellen sier. De rører ikke det modellen vet. En tilstrekkelig målrettet angriper kan forsøke å jailbreake seg forbi forsvaret og ned til kunnskapen som hele tiden har ligget der.

Anthropic har prøvd den mer radikale veien før. I 2025 filtrerte selskapet innhold om kjemiske, biologiske, radiologiske og nukleære våpen ut av pretreningsdataene. Senere samme år viste forskere at dual use-kunnskap kan tvinges inn i en fjernbar skive av modellens vekter gjennom selektiv gradientmaskering. Men filtrering er et buttvåpen. Den gir én modell med ett fast evnesett.

Det er her økonomien slår inn. Vil du ha en modellvariant som kan diskutere avansert virologi – tenk et godkjent biosikkerhetslaboratorium – og en annen som ikke kan, må du trene to separate frontiermodeller. Anthropic beskriver denne kostnaden som «prohibitive» i sin egen bloggpost: frontiermodeller er store og svært dyre å trene, og dobling av treningskostnaden per brukerprofil er ifølge selskapet uholdbar. GRAM er svaret på det regnestykket: gevinsten av mange separat filtrerte modeller, til prisen av én treningskjøring.

Slik fungerer rommene

Teknisk sett legges det til ekstra nevroner i hvert lag av en standard Transformer. Disse nevronene deles i grupper – moduler – én per dual use-kategori, for eksempel virologi. Under trening følger generell tekst den normale læringsregelen: gradientene flyter fritt gjennom nettverket. Men når modellen møter tekst fra en dual use-kategori, endres reglene: gradientene rutes kun til den tilhørende modulen, slik at kunnskapen om virus samler seg i ett avskillbart rom i stedet for å sive utover alle vektene.

Fjerning eller nedstenging skjer dermed i modellen selv, ikke i prompten. Det er dette som skiller GRAM fra refusal training: modellen beholder evnen til alt annet, mens den spesifikke kunnskapen ligger i et volum som i prinsippet kan skrus av, på eller helt ut.

Kostnadssiden er den stille omvelten her. Én dyr frontiermodell kan i prinsippet tjene mange kapabilitetsprofiler – et bibliotek av versjoner, der hver utgivelse blir et spørsmål om hvilke moduler som er koblet til. For en bransje der én frontiermodell-trening koster hundrevis av millioner, er det en helt annen økonomi enn én modell per sikkerhetsnivå.

Preliminært arbeid, konkrete konsekvenser

GRAM er ikke i produksjon. Anthropic understreker selv at resultatene er preliminære, at metoden ikke er anvendt på noen av selskapets produksjonsmodeller, og at de ikke er sikre på at den noen gang blir det. Konsekvensene bør derfor leses som retning, ikke produkt.

Men retningen er konkret. En biosecurity-institusjon som i dag må velge mellom en fullt kapabel modell med nettbaserte sikkerhetslag, eller en filtrert modell med lavere bruksverdi, kunne i et GRAM-scenario få samme modell med virologimodulen slått på etter godkjenning – og av ellers. Evnen til å gi ulike brukergrupper ulik tilgang til samme kunnskap, uten å trene separate modeller, endrer hvem som kan få tilgang til hva, og hvem som må godkjenne det.

Og det er her Kongressen kommer inn. Lieus lovforslag handler om en nødstopp på modellnivå – muligheten til å slå av en hel modell som oppfører seg ille. GRAM opererer på et annet nivå: kunnskapsnivå, der spesifikke evner demoteres uten at modellen stenges. Forslaget og forskningen møtes altså ikke som det samme – de møtes som to svar på samme underliggende spørsmål: kan farlig kapabilitet slås av uten å ødelegge det som er nyttig? Lieu argumenterer ifølge CNBC for at svaret må innføres i år, fordi laboratorienes egne rapporter om modeller som når ut over sine miljøer viser at risikoen ikke er hypotetisk.

Den vanskelige delen: holde rommet forseglet

GRAMs svakhet ligger i et spørsmål teknisk kyndige lesere stiller med en gang: hva hindrer generell kunnskap – generell biologi, generell programmering – fra å ligge tett inntil modulens domene allerede under pretrening? Gradientrouting styrer hvor ny kunnskap lagres under trening. Den styrer ikke hva modellen allerede kan utlede.

Anthropics tidligere arbeid med gradientmaskering viste at dual use-kunnskap kan plasseres i en fjernbar skive. Men det beviser ikke at kunnskapen er borte når skiven fjernes – bare at den direkte veien inn er stengt. En angriper trenger ikke nøkkelen til rommet hvis modellen kan rekonstruere innholdet ut fra generell kunnskap som ligger fritt. Routingen kan altså skjule døren uten å fjerne rommet. Hva som skulle skille de to tilfellene – overflatekontroll og reell kunnskapskontroll – er nettopp det forskningen ennå ikke har svart på: systematiske tester av om fjernede moduler faktisk eliminerer kapabiliteten, eller bare gjør den vanskeligere å nå via kjente angrepsstier.

Til det kommer spørsmål om lekkasje mellom moduler under trening, og om metoden skalerer til frontiermodell-størrelse. Ingen av delene er avklart i det publiserte arbeidet.

Hvem holder bryteren?

Derfor er den viktigste konsekvensen av GRAM kanskje ikke teknisk, men institusjonell. En bryter må betjenes av noen. I Anthropics laboratorium er det forskere som bestemmer hvilke moduler som er koblet til. I Lieus lovforslag er det myndigheter som får utvidet håndhevingsevne over modeller som oppfører seg ille. GRAM viser at bryteren er byggebar; den sier ingenting om hvem som skal få lov til å bruke den, etter hvilke kriterier, og med hvilket tilsyn.

Feltet flytter seg dermed. Fra «lær modellen å si nei» til «avgjør hva modellen får lov til å bære». Fra voktere av svar til arkitekter av viten. Og fra spørsmålet om slike brytere kan bygges – det har GRAM vist, i liten skala og med forbehold – til spørsmålet om rommene holder tett når noen med tid og kreativitet prøver å finne en annen vei inn. Bevisbyrden ligger nå på kompartmentene.