Memorilla slo full kontekst på FactKG med 108 ganger færre tokens – ifølge forskerne
En liten Stanford-utviklet minnemodul som komprimerer en hel dokumentsamling til 16 latente tokens for en frossen stor språkmodell ble åpenkildekodegitt 14. november 2026. Tallene i forskningsartikkelen er imponerende — men to dager etter offentliggjorde uavhengige testere rapporter om fabrikasjon og detaljtap, og latensangivelsene fra de to kildene strir imot hverandre.
Nyheten
- november 2026 åpenkildegjorde forskere bak preprinten «Memorilla: Latent Semantic Memory for LLMs» (arXiv:2610.21375) systemet under Apache 2.0-lisensen, med kode, treningsoppskrifter og sjekkpunkter offentlig tilgjengelige. Artikkelen er skrevet av Adibvafa Fallahpour, Parsa Idehpour, Vignesh Kothapalli, Nikita Mounier, Shirley Wu, Shayan Pardis og Jure Leskovec, med tilknytning til Stanford, Toronto, Penn, Arc Institute og MIT. Dekning fulgte raskt: MarkTechPost og CASRAI oppsummerte utgivelsen 14. november, og Geeky Gadgets publiserte 16. november sin egen testing, utført med analyse bidratt fra Better Stack.
Kjernen i systemet er beskrevet i abstraktet: «Her introduserer vi Memorilla, et minnesystem som samler informasjon fra en hel dokumentsamling inn i et fast antall spørringsavhengige 'minnetokens' for en frossen LLM.» I praksis betyr det at en hel samling dokumenter — for eksempel brukerchat, bokkapitler eller forskningsartikler — klemmes ned til nøyaktig 16 tokens som settes inn i konteksten til en språkmodell som aldri trenes på nytt.
Grunnideen er ikke at modellen husker alt, men at den lærer å hente det som betyr noe for en gitt spørring. Ifølge preprinten koder Memorilla dokumenter én gang til gjenbrukbare inn embeddings, og lærer så å hente ut og plassere spørringsspesifikk informasjon direkte i språkmodellens input-embeddingrom.
Hvordan det fungerer
Arkitekturen har tre deler, hvorav bare én trenes:
-
En frossen encoder. Dokumentene pre-encodinges én gang med Qwen3-Embedding-4B, som holdes urørt. Siden denne kodingen er spørringsagnostisk, kan embeddingene lagres og gjenbrukes på tvers av mange spørringer.
-
En liten, trenbar minnemodul. Dette er systemets eneste trenbare komponent: et cross-attention-modul på nøyaktig 194 123 776 parametre for 8B-decoderen. Modulen tar dokumentembeddingene pluss den aktuelle spørringen og produserer de 16 latente minnetokensene — altså er minnet spørringsbetinget: samme dokumentsamling gir forskjellige 16 tokens avhengig av hva du spør om.
-
En frossen decoder. De 16 tokensene injiseres i en uendret Qwen3-8B-modell. Ingen finjustering av selve språkmodellen er nødvendig, noe som betyr at tilnærmingen i prinsippet kaneres mot enhver kompatibel modell uten å røre dens vekter.
Treningsoppskriften foregår i tre stadier, ifølge MarkTechPost: stadie 1 bruker rundt 1,98 millioner Wikipedia-eksempler på omformulering og rekonstruksjon; stadie 2 legger til rundt 1,34 millioner eksempler fra ti QA- og oppsummeringsdatasett; stadie 3 finjusterer på alle de åtte benchmarkene rapportene bygger på. Hele oppskriften tar rundt 19 timer på fire H100-GPU-er — beskjedent målt mot det å trene selve basemodellen.
Systemet har også en valgfri KV-minnecache som flytter spørringen fra «re-encoding per spørring» til et nøkkel–verdi-oppslag, noe som er der de mest dramatiske latensangivelsene kommer fra (mer om det nedenfor).
Tallene forskergruppen selv rapporterer
Alle benchmarktall nedenfor er selvrapportert av forskningsteamet i preprinten, og bør leses med det forbeholdet.
- FactKG: 84,33 % nøyaktighet mot 80,43 % for full kontekst-inferens, samtidig som man bruker 108 ganger færre tokens til å representere kildedokumentene. Altså slår Memorilla full kontekst på dette benchmarket — med en brøkdel av tokenbudsjettet.
- TextWorld (agentisk setting): Memorilla reduserer ifølge abstraktet agentens tendens til å vandre mellom rom den allerede har utforsket, og forbedrer gjennomsnittlig suksessrate fra 18,6 % med full historikk via in-context learning til 24,2 %.
Latensprofileringen, formidlet via MarkTechPost og CASRAI, er like bemerkelsesverdig: på én H100 svarer Memorilla på 0,74 sekunder ved 512 dokumenter (rundt 128 000 tokens), mot 19,9 sekunder for full kontekst — 27 ganger raskere. Selve minnemodulen tar ifølge dekningen rundt 2 millisekunder. Med den valgfrie KV-cachen måler CASRAI-oppsummeringen 8,1 millisekunder for spørring mot én million dokumenter på en NVIDIA B200 (5,0 ms med torch.compile), og 33 millisekunder og 80 GiB VRAM ved fire millioner dokumenter — rundt én milliard tokens — som passer innenfor én enkelt akselerator.
Hvis disse tallene holder i praksis, betyr det at minneandelen som trengs for å «huske» en milliondokument-samling per spørring blir nesten negligible, og at svartiden ikke vokser med samlingsstørrelsen på samme måte som full kontekst gjør.
Hvor systemet taper
Forskergruppen egen benchmarktabell viser at Memorilla ikke vinner overalt, og tapene følger et mønster:
- PubMedQA: 59,00 % mot 69,00 % for LLMLingua-2. Ifølge MarkTechPost er dette forståelig: abstraktene i dette datasettet utgjør totalt bare rundt 324 tokens, så det er nesten ingenting å komprimere — med et Fast komprimeringsalternativ som LLMLingua-2 som beholder teksten nesten ordrett, vinner det opplagt.
- PersonalizationV4: MemoRAG leder med 67,88 % mot Memorillas 66,65 %.
- NarrativeQA (ROUGE-L): MemoRAG 20,51 mot Memorillas 19,31.
Et interpretivt poeng som bør nevnes: stadie 3 i treningen finjusterer på nettopp de åtte benchmarkene som rapporteres. Det er ikke utroskap — det er beskrevet åpent i dekningsmaterialet — men det betyr at tallene i tabellen beskriver prestasjon på oppgaver modulen har blitt optimalisert mot, noe som gjør generalisering til nye domener til et åpent spørsmål.
Det er også verdt å merke seg at forholdstallet mellom 16 tokens og full kontekst varierer mye med hvordan det beregnes: preprintens abstrakt omtaler 16 tokens som «394× færre enn full kontekst», FactKG-dekningen oppgir 108×, og CASRAIs tabell oppgir rundt 2 000× tokenkomprimering på PersonaMem-v2 (107 chatter) — et tall som kun kan tilskrives CASRAI, ikke preprinten. De ulike nevnerne er ikke avklart i tilgjengelig materiale, og leseren bør ikke blande dem sammen til ett «komprimeringstall».
Den uavhengige testen: benchmarkene holder, detaljene gjør ikke
- november publiserte Geeky Gadgets en testing utført med analyse tilskrevet Better Stack, der benchmarkresultatene ble kjørt på utleide GPU-er. Ifølge Geeky Gadgets ble resultatene «reprodusert nesten ord for ord» — men det finnes ikke publisert metodikk for reproduksjonen, noe som betyr at påstanden ikke kan etterprøves uavhengig.
Den praktiske testingen var langt mindre smigrende. Geeky Gadgets konkluderte at «nøyaktighet fortsetter å være en hovedbegrensning, med at Memorilla sliter med å beholde presise detaljer, fabriserer informasjon og ikke klarer å hente spesifikke fakta i tester — som å svare riktig på bare ett av åtte plottspørsmål om 'Baskervilles hund'». Testerens dom var at systemet ikke er produksjonsklart, til tross for at benchmarkene lot seg reprodusere.
Dette er kanskje historiens viktigste spenning: systemet leverer degregede gjennomsnittstall på benchmarkspørsmål, men de 16 tokensene ser ut til å fungere som et tapsomt kart snarere enn et tapfritt arkiv. For oppgaver der grov semantisk gjenfinning er nok, kan det være godt nok; for oppgaver der en spesifikk detalj — et dato, et navn, en plotthendelse — er svaren, kan modellen ikke bare feile, men fabrisere.
Latenskonflikten som ingen har løst
Her ligger en dokumentert motsetning i det offentlige materialet:
- Forskergruppens profilering (formidlet via MarkTechPost og CASRAI): 0,74 sekunder på én H100 ved 512 dokumenter, med modulen selv på rundt 2 ms, og millisekund-nivå spørringstider med KV-cachen på B200-hardware.
- Geeky Gadgets' testing: «Komprimering av 128 000 tokens fra Sherlock Holmes-romaner til 16 minnetokens reduserte svartidene fra over 19 sekunder til omtrent 3 sekunder. Svartiden forblir jevnt rundt 0,12 sekunder ved behandling av opptil 512 dokumenter.»
De to kildene er enige om utgangspunktet (over 19 sekunder full kontekst ved ~128 000 tokens) og om at svargenereringen alene er i hundredele av et sekund. Men 0,74 sekunder og ~3 sekunder end-to-end er langt fra samme tall, og ingen av de tilgjengelige kildene forklarer avviket. Det kan dreie seg om forskjellig hardware, forskjellige pipelinestadier, eller om en kommunikasjonsfeil — men det er umulig å fastslå basert på tilgjengelig dokumentasjon, og frem til det er avklart bør ingen av tallene brukes som et løfte om sanntidsytelse.
Hva dette betyr — og hva som er åpent
Memorilla peker på en interessant retning i forskningen på lang kontekst: i stedet for å utvide kontekstvinduet, lær man et lite, trenbart uttrekkslag som destillerer en hel samling til noen få tokens per spørring. Fordi encoder og decoder holdes frosne, er treningskostnaden lav (19 timer på fire H100-er), lisensen tillater kommersiell bruk, og oppskriften er reproduserbar i prinsippet for alle som har GPU-ene.
Men den uavhengige testen antyder at dagens versjon bør leses som et forskningsartefakt, ikke en infrastrukturkomponent. Det åpne spørsmålslisten er konkret:
- Latensavviket mellom teamets 0,74 s og testernes ~3 s ved samme skala er uforklart.
- Reproduksjonsmetodikken bak påstanden om at benchmarkene ble gjengitt «nesten ord for ord» er ikke publisert.
- Finjustering på egne benchmarks i stadie 3 gjør det uklart hvor godt systemet generaliserer utenfor de åtte testene.
- 16-tokens-flaskehalsen er medfødt: enten spørringen trenger en presis detalj som ikke ble plassert i tokensene, kan systemet ikke finne den igjen — dokumentert av Baskervilles-testen.
- Det finnes ingen primær dokumentasjon tilgjengelig for AIMag utover de sekundære oppsummerringene og preprint-utdragene om utgivelsesdetaljer som depotstruktur eller modellkort.
For de som vurderer komprimert minne generelt, er lærdommen kanskje den viktigste: degregede gjennomsnitt kan skjule at systemet mister nettopp de detaljene mange brukstilfeller finnes for. Memorilla viser at man kan komprimere en hel bibliotek samling til 16 tokens — spørsmålet er om leseren kan stole på det som kommer ut igjen.

