Claude Sonnet 3.7 lagret 413 filer i Pokémon Red – og endte med én badge

Når KI-agenter skal huske noe fra økt til økt, frister det å arkivere alt. Anthropic har testet motsatt strategi – og funnet at selektive notater slår utvetydig over store arkiver.

Arkivfoto: Filfoto: Statssekretær Peter Kyle under besøk hos Anthropic i San Francisco, med kontormiljø synlig i bakgrunnen.
Filfoto: Peter Kyle besøker Anthropic i San Francisco i oktober 2024. Anthropic står bak Claude-modellen som ble testet i Pokémon Red. (Department for Science, Innovation and Technology / CC BY 2.0) Arkivfoto: Department for Science, Innovation and Technology, CC BY 2.0 · kilde

Claude Sonnet 3.7 lagret 413 filer i Pokémon Red – og endte med én badge

Når KI-agenter skal huske noe fra økt til økt, frister det å arkivere alt. Anthropic har testet motsatt strategi – og funnet at selektive notater slår utvetydig over store arkiver. I et spillgjennomspill av Pokémon Red samlet den eldre modellen Claude Sonnet 3.7 413 filer i 225 mapper og endte med én badge. Den nyere Claude Fable 5 holdt seg til noen få filer og vant fire. Bak tallene ligger et konkret prinsipp: det som allerede står på skjermen, trenger ikke huskes – det som gjelder, er planene, strategiene og reglene agenten har verifisert selv.

Slik fungerer agent-hukommelse

I et forskningsinnlegg beskriver Anthropic, gjengitt av The Decoder 16. november 2026, hvordan Claude skal kunne ta med seg kunnskap mellom økter mens selve modellen forblir uendret. Mekanismen er enkel: agenten skriver notater til filer i en mappe, som den kan lese tilbake senere. Modellvektene endres ikke – hukommelsen består utelukkende av tekst agenten har skrevet til seg selv.

Det gjør hukommelsen til et spørsmål om redaksjonelle valg fremfor maskinvare eller trening. Hva skal noteres ned? Hva skal kasseres? Og når skal notatene leses? Anthropics funn er at disse valgene får stor praktisk betydning – og at intuisjonen om å lagre mest mulig peker feil vei.

Pokémontesten: to modeller, to hukommelsesstiler

For å illustrere forskjellen satte Anthropic modellene til å spille Pokémon Red. Den eldre Claude Sonnet 3.7 behandlet alt som potensielt viktig. Over omtrent 10 000 spillsteg opprettet den 413 filer fordelt på 225 mapper, ofte én egen fil for hver kamp og hvert funnet gjenstand.

Problemet, ifølge Anthropic, er at spilltilstanden stadig endrer seg – arkivet blir raskt utdatert. Til tider brukte modellen ikke spilletid på annet enn å reorganisere notatene sine. Til slutt sto den igjen med én enkelt badge.

Den nyere Claude Fable 5 tok motsatt tilnærming. Den begrenset hukommelsen til noen få filer og tok fire badges. Fable 5 noterte ikke ned informasjon som allerede var synlig på skjermen, men skrev i stedet ned planer, strategier og regler den hadde testet selv.

Forskjellen er ikke bare i mengde, men i type. Et arkiv over foranderlig spiltilstand mister verdi i takt med at tilstanden endres. Planer og verifiserte regler forblir nyttige også når omgivelsene skifter. Det er denne skjelningen Anthropic trekker frem som kjernen: hukommelse handler om å vite hva man skal glemme, ikke om hvor mye man kan lagre.

Instruksjoner som kan jevne ut modellforskjeller

Resultatene fra Pokémontesten handler om modellenes egen evne til å velge riktig. Men Anthropic fant også at instruksjonene som styrer hukommelsen, spiller en stor rolle – og at de virker ulikt avhengig av modellens styrke.

I én benchmark, ifølge Anthropic via The Decoder, utvisket stive instruksjoner som «kun noter ned feil» det meste av fordelen til de sterkere modellene. Det tyder på at sterke modeller trenger frihet til å selv vurdere hva som er verdt å huske – og at en for smal huskeregel binder dem til en dårligere strategi.

Eldre modeller hadde det motsatte behovet. De hadde nytte av klare og eksplisitte instruksjoner, som å bli faktisk bedt om å lese notatene sine før hvert svar. En svakere modell klarer ikke å finne frem til god hukommelsespraksis på egen hånd; den må ledes dit.

For alle som bygger eller konfigurerer agenter med vedvarende hukommelse, er dette kanskje den mest handlingsrettede delen av funnet. Hukommelsesinstruksjoner er ikke en nøytral innstilling – de interagerer med modellens kapasitet, og en regel som hjelper en eldre modell kan hemme en nyere.

«Dreaming»: når agenten går gjennom egne notater i ettertid

Det tredje elementet i Anthropics innlegg er en prosess de kaller «Dreaming». Ideen bygger på forskning fra selskapet Letta og UC Berkeley og tar utgangspunkt i en parallell med den menneskelige hjernen, som bearbeider opplevelser under søvn.

I praksis går Claude gjennom transkripter av tidligere økter når det er en pause i arbeidet, og kontrollerer notatene sine mot dem. Mekanismen skal altså fange opp feil som har sneket seg inn i hukommelsen – notater som gjengir tidligere økter feilaktig, eller som har blitt utdatert av hendelser agenten ikke registrerte fullt ut i øyeblikket.

Det The Decoder gjengir i detalj er selve mekanismen: transkriptgjennomgang i hviletider med notatsjekk som formål. Hvor grundig effekten av prosessen er målt, er et åpent spørsmål – det er grunn til å ikke anta at metodens effekt er dokumentert i detalj uten videre.

Hvorfor det betyr noe nå

Spørsmålet om agenter skal huske ting mellom økter har flyttet seg fra teoretisk til praktisk etter hvert som agentutplasseringer vokser. En agent som jobber med et prosjekt over flere dager – koding, forskning, kundesupport – trenger en form for persistens. Nåværende løsninger varierer fra samtalehistorikk i råformat til strukturerte notatsystemer, og valgene deroppe påvirker både kostnad (hvor mye tekst som leses inn i konteksten), hastighet og kvalitet på agentens arbeid.

Anthropics hovedpoeng peker mot en spesifikk designanbefaling: prioriter komprimert, kuratert kunnskap fremfor rå logger, og skill mellom informasjon som er tilgjengelig i omgivelsene uansett og informasjonen agenten selv har syntetisert. Sistnevnte – planer, strategier, verifiserte regler – er det som faktisk trenger lagring.

Hva vi ikke vet

Det finnes vesentlige forbehold, og Anthropic er ifølge The Decoder selv tydelige på det viktigste: sammenligningen mellom Sonnet 3.7 og Fable 5 omfatter kun ett spillgjennomspill per modell. Én gjennomspilling av Pokémon Red er ikke et statistisk grunnlag. Forskjellen i badges kan delvis reflektere generell spilleglans hos den nyere modellen, ikke bare hukommelsesstrategien – designet skiller ikke mellom disse faktorene.

I tillegg hviler alle detaljer i denne saken på The Decoders gjengivelse av Anthropics innlegg; den opprinnelige kilden er ikke umiddelbart tilgjengelig for uavhengig etterkontroll. Modellnavnene og testtallene ovenfor stammer altså fra én sekundærkilde.

Disse forbeholdene endrer ikke hovedbildet, men de setter riktig presisjon på det: Anthropic presenterer et plausibelt og konkret designprinsipp – seleksjon slår arkivering, og hukommelsesregler bør tilpasses modellens styrke – illustrert av en enkelt, i beste fall anekdotisk sammenligning. For praktikere er poenget verdt å ta med seg; for forskningen mangler det fortsatt robuste målinger av nøyaktig hvor stor effekten er, og under hvilke betingelser den gjelder.


Kilder: The Decoder

Få de viktigste AI-nyhetene i innboksen

Nyheter, analyser og verktøy samlet for deg.