Sakana AI rapporterer 1,2–1,6 ganger økt effektivitet etter to selvforbedringssykluser med MASS

Sakana AI rapporterer 1,2–1,6 ganger økt effektivitet etter to selvforbedringssykluser med MASS

Etter to rekursive selvforbedringssykluser hevder forskerne bak MASS en effektivitetsvekst på 1,2–1,6x på fire forskningsbenchmarker, men tilbakeslag på kodeoppgaver – og peker selv på risikoen for at modellens blinde flekker forsterkes.

Sakana AI publiserte 12. oktober 2026 artikkelen «Recursive Self-Improvement through Multi-Agent Self-Supervision», som beskriver metoden MASS (Multi-Agent Self-Supervision). Ideen er tilsynelatende enkel: Én og samme åpne vektmodell – Qwen3.6-27B – løser oppgaver gjennom virtuelle underagentlag, søker etter bedre arbeidsflyter, og bruker deretter sin egen dømmekraft til å plukke ut de beste kjøringene, som modellen deretter finjusteres på.

«Én delt modell løser oppgaver gjennom et lag av virtuelle underagenter, søker etter bedre multi-agent-arbeidsflyter, og bruker deretter sine egne vurderinger til å velge de beste», skriver Sakana AI på sin blogg. «Trening på det beste lagets kjøringer destillerer lagets kollektive erfaring tilbake i den delte modellen.»

Metoden heter rekursiv selvlæring (RSI) fordi prosessen gjentas: modellen forbedres, og den forbedrede modellen brukes til å forbedre seg selv på nytt. Etter to slike sykluser rapporterer Sakana at skår per output-token nådde 1,2 til 1,6 ganger grunnmodellens nivå på fire forskningsbenchmarker. Men samme publikasjon advarer om at når modellen er sin egen evaluator, kan delte blinde flekker la feil aktiveres som fremgang og forsterkes gjennom trening.

Hvordan MASS fungerer mekanisk

MASS består av en indre og en ytre sløyfe. I den indre løser modellen oppgaver gjennom et lag av virtuelle underagenter. Ifølge The Decoder er arbeidsflytene i praksis prompttekst som definerer underagentrollene gjennom såkalte «kontrakter» og «hopp» – altså regler for hva hver agent skal levere og hvordan resultatene sendes videre.

I den ytre sløyfen kjøres den beste arbeidsflyten – «championen» – 18 ganger per oppgave. Modellen rangerer selv resultatene og velger opptil 15 kjøringer som grunnlag for LoRA-finjustering, det vil si en lettvektsoppdatering av modellvektene. Dermed lærer modellen av sine egne beste utførelser, rangert etter sin egen smak.

Grunnmodellen er Qwen3.6-27B, med Qwen Code som rammeverk. Oppgavematerialet besto av tolv syntetiske forskningsoppgaver generert av GPT-5.5 innen finans, robotikk og legemidler – ni til trening og tre til testing. Av de ni treningsoppgavene ga bare åtte data, fordi søket ikke fant noen arbeidsflyt som slo referansen på én av oppgavene.

Tallene – rapportert av forskerne selv

Alle ytelsestall stammer fra artikkeforfatterne; ingen uavhengig evaluering foreligger blant de tilgjengelige kildene. Målingen «skår per output-token» belønner altså ikke bare rå kvalitet, men også effektivitet – hvor god skår modellen oppnår per enhet generert tekst.

Etter to sykluser rapporteres følgende multiplikatorer mot den urørte grunnmodellen:

• MLR-Bench: 1,60x
• DSBench: 1,35x
• AstaBench: 1,28x
• ScienceAgentBench: 1,20x

På SWE-bench Verified og Terminal-Bench 2.0, begge kode-tunge, falt samme system til 0,94x og 0,96x – altså under grunnlinjen. Hodet-mot-hode-vinnergraden mot grunnmodellen steg fra 53,9 % etter én runde til 69,9 % etter to.

Det finnes også et sammenligningspunkt mot en enkelt-agent-variant: Ifølge AI Weekly, som siterer artikkelen, nådde multi-agent-oppsettet 68,3 % vinnergrad med 28,8 millioner overvåkede tokens, mot 42 millioner for enkeltagent-varianten. «MASS-modellen oppnår dermed den høyere skåren mot denne referansen med 31 % færre overvåkede tokens», siterer AI Weekly.

Det er verdt å merke seg at råskorene noen steder beveget seg lite: The Decoder peker på at DSBench bare gikk fra 0,473 til 0,482 – mens 1,35x-multiplikatoren primært reflekterer effektivitetsgevinst, altså bedre skår per token.

Forskernes egen advarsel

Det mest bemerkelsesverdige med publikasjonen er kanskje hva forfatterne selv sier om metodens svakheter. Fordi samme modell både produserer og evaluerer resultatene, kan en felles blind flekk i en homogen sløyfe føre til at feilaktige resultater aksepteres som forbedringer og bake inn i neste modellversjon.

«I en homogen sløyfe kan en delt blind flekk tillate at et feilaktig resultat produseres, aksepteres som en forbedring, og inkorporeres i neste modell», skriver forfatterne, ifølge AI Weekly, som kaller risikoen «en akilleshæl for rekursiv selvforbedring». Sakana-formuleringen i bloggposten peker i samme retning: Delte blinde flekker kan la feil aksepteres som fremgang og forsterkes gjennom trening.

Dette er særlig relevant gitt tallene: De fire forskningsbenchmarkene hvor MASS gjorde det best, er nettopp domener der modellen selv kan vurdere kvalitet på forskningsarbeid. På kodebenchmarkene, der evalueringen er mer eksplisitt og binær, falt systemet under grunnlinjen.

Fortolkningstvisten: selvlæring eller kalibrert smak?

Det er uenighet om hva tallene egentlig viser. Redaktøren bak AI Weekly argumenterer for at gevinstene i realiteten er smakskalibrering – at modellen blir bedre til ålage det den allerede kan vurdere godt – snarere enn generell selvforbedring. Argumentet bygger på at kodebenchmarkene falt under 1x, hvilket antyder at forbedringen ikke generaliserer på tvers av domener.

Denne tolkningen er omstridt, og AIMag tar ikke stilling til hvem som har rett. Men den peker på et reelt spørsmål: Hvis gevinsten primært kommer fra at modellen lærer å optimere mot sin egen vurdering, er det en annen – og svakere – påstand enn at modellen generelt blir bedre til å løse problemer.

Forbehold lesere bør kjenne til

Flere forhold begrenser hvor mye som kan konkluderes fra dette arbeidet:

• Ingen uavhengig evaluering. Alle tall er forfatterrapporterte. arXiv-forhåndspubliseringen (2610.12176) og kode­depotet er referert til, men ikke fagfellevurdert, og AIMag har ikke selv kjørt koden.
• Syntetiske oppgaver. De tolv oppgavene ble generert av GPT-5.5 innen tre sektorer. Det er uverifisert hvor godt dette generaliserer til ekte forskningsproblemer.
• Begrenset skala. Dette gjelder en 27B-modell, to sykluser, og et relativt lite oppgavesett – ni treningsoppgaver, hvorav åtte ga data. Det er et bevissvarighet, ikke en fullskala-demo.
• Uklar førsteforfatterskap. AI Weekly tilskriver førsteforfatterskap til Hyunin Lee ved UC Berkeley, mens Sakana-bloggen lister Hyunin Lee, Jinglue Xu, Jeffrey Seely og Yujin Tang uten å oppgi rekkefølge, sammen med UC Berkeley-kolleger Somayeh Sojoudi, Matei Zaharia og Donghyun Lee. Detaljen er uavklart, men ikke vesentlig for resultatene.

Hva du bør se etter videre

To ting vil avgjøre om MASS er et generelt prinsipp eller et domenspesifikt triks. For det første om oppfølgere erstatter den homogene evalueringen med heterogene evaluatorer eller ekstern forankring – altså en eller annen form for grunnforcer som bryter den delte blind-flekk-risikoen forfatterne selv advarer mot. For det andre om noen utenfor Sakana AI og UC Berkeley reproduserer tallene, helst på oppgaver som ikke er syntetisk generert av en annen stor modell.