Claude lukket 85 % av sikkerhetshullet. Menneskene klarte 20 %.

Tallet som skiller seg ut i Anthropics nye rapport er ikke 85 prosent. Det er 4,7.

Men ta første tallet først. 28. august publiserte Anthropic rapporten «Automated researchers can reliably mitigate alignment failures». Selskapet lot Claude fungere som autonom sikkerhetsforsker: modellen søkte i faglitteratur, foreslo metoder og treningsdata, trente opp og testet – én kategori av alignment-svikt om gangen. Oppgaven var ti kjente feiltyper: svik, smisking, jailbreaks, personvernbrudd og andre. Hver kategori ble målt på typisk tre til fem offentlige benchmarker; personvernbrudd alene ble målt på ConfAIde, PrivaCI-Bench og PrivacyLens.

Resultatet målt som «prosent av sikkerhetshullet lukket»: På svik lukket Claudes automatiserte forskere i gjennomsnitt 85 prosent av avstanden til perfekt skår. Seks erfarne sikkerhetsforskere som jobbet under nøyaktig samme regler, lukket i gjennomsnitt 20 prosent. Claude scoret også høyere enn 28 andre sikkerhetsforskere som hadde opptil åtte timer på å utvikle sine metoder – på svik var Claudes beste metode 20 prosent bedre enn det beste menneskelige forslaget.

Hvorfor 4,7 er det interessante tallet

«AI-en slo menneskene» er den minst interessante lesningen av rapporten. Konkurransen var avgrenset, tidsbegrenset og målt på benchmarker begge parter kunne optimalisere mot. Det Claude faktisk viste, ligger et annet sted.

De beste metodene Claude utviklet, virket på alignment-benchmarker den aldri hadde sett under forskningssløyfen. De virket på Petri, Anthropics åpen kildekode-verktøy som simulerer adversaryske fleromgangs-scenarioer for å avsløre feiljustering. Og de virket på modeller opptil 4,7 ganger større enn de modellene Claude faktisk optimaliserte i testen.

Det siste er poenget. En sikkerhetsfiks som kun gjelder for én modellversjon, er vedlikehold, ikke forskning. Hvis maskinutviklede sikkerhetsmetoder overfører til modeller langt større enn treningsmålet, betyr det at sikkerhetsarbeid kan skalere med kapabilitetsarbeid uten proporsjonalt flere mennesker. Det er i så fall rekursiv selvforbedring ikke lenger et tankeeksperiment, men en målt egenskap – i hvert fall på denne skalaen, for disse feiltyper.

Slangen som ikke fikk spise halen sin

Rapporten er også dokumentasjon på hva Anthropic ikke lot Claude gjøre. Metoder som reduserte målmodellenes generelle evner, ble ekskludert – sikkerhetstrening som bare får modeller til å nekte oftere, er ikke en gevinst. Og Claude var forbudt å destillere sin egen alignment direkte inn i målmodellen, altså å kopiere seg selv som løsning.

Begge begrensningene ble håndhevet av en overvåkingsagent som leste hver metode Claude hadde i tankene, før den ble kjørt. Legg merke til hva det innebærer: den eneste tråden av menneskelig kontroll i sløyfen er et program skrevet av mennesker, som ser på et annet programs forslag. Hele arkitekturen hviler på den agenten.

Byggesteinene kommer fra et tidligere Anthropic-eksperiment der svake modeller ble brukt som «lærere» for å veilede treningen av sterkere «elever». Kombinasjonen av slike svak-til-sterk-løkker og benchmarkdrevet iterasjon er mekanismen som lar en automatisert forsker bevege seg raskere enn mennesker: den kan teste, feile og retestere metoder i en takt ingen mannskap på åtte timer konkurrerer med.

Eksaminator, eksamen og samme firma

Så motstanden – som Anthropic selv peker på. «Å måle suksessen til alignment-forskning er enormt utfordrende», skriver selskapet i rapportens åpning. Den erkjennelsen gjør resultatet mer nyttig og mer sårbart på samme tid.

For her deler eksaminator, pensum og kandidat samme eier. Benchmarkene er offentlige og velkjente. Suksessen ble målt med verktøy fra samme selskap som utviklet metoden. Benchmarker kvantifiserer kjente feiltyper – svik, smisking, jailbreaks – ikke ukjente. En modell som lukker 85 prosent av hullet på ti definerte feilskalaer, har dermed ikke bevist at den er trygg; den har bevist at den er god på å lukke hullene vi allerede har navngitt. I sammenligningen med mennesker teller det i Claudes favør at benchmarkene var kjent for begge parter – men det betyr også at hele konkurransen måler kompetanse på et definert spill, ikke dømmekraft utenfor det.

Tallet 85 prosent gjelder dessuten svik-kategorien alene, som gjennomsnitt over flere kjøringer. På tvers av alle ti feiltyper varierte resultatet langt mer – fra 26 til 96 prosent av hullet lukket. Å gjengi «85 mot 20» som generelt facit ville overdrive både maskinen og menneskene.

Hvem overleverer først?

Timingen er ikke tilfeldig. Anthropic rammer rapporten inn med uttrykket «as AI begins to build itself» – når AI begynner å bygge seg selv, må alignment-forskning automatiseres for å holde tritt. Ifølge rapportering knyttet til selskapets forberedelser til en børsnotering, jobbes det bevisst med å posisjonere sikkerhet som forretningsgrunnlag. I samme uke advarer over hundre teknologi- og cybersikkerhetsselskaper om at vinduet for å forberede seg på AI-drevne cyberangrep lukker seg. Kapasiteten løper foran tilsynet, også her.

Og det er her den menneskelige konsekvensen ligger, mer konkret enn noen filosofi om superintelligens: Fagfolka hvis jobb var å holde AI ærlig, kan bli de første til å overlevere arbeidet. Ikke fordi noen blir oppsagt i morgen, men fordi rapporten demonstrerer at en del av fagets kjerne – finne metoder, trene, verifisere – nå kan måles som automatisert ytelse, og at ytelsen slår de fleste.

Det er den mest beroligende og minst beroligende mulige utgang samtidig. Beroligende, fordi sikkerhetsarbeid endelig viser tegn til å kunne skalere like raskt som kapabiliteten. Urolig, fordi definisjonen av hva «alignet» betyr – hvilke feil som teller, hvilke benchmarker som gjelder, hva en overvåkingsagent skal se etter – fortsatt skrives av mennesker. Som nå skriver en mindre og mindre del av det selv.

Den neste rapporten verdt å lese, er ikke den som viser at Claude lukker 90 prosent. Det er den som viser hvem som skriver eksamen.