Bare én av fire agentlag-konfigurasjoner ga målbar gevinst – til fem ganger prisen
En ny benchmark antyder at flokker av identiske AI-agenter sjelden skriver bedre kode enn én enkelt agent, men koster fra 1,8 til 5,1 ganger så mye. Samtidig peker annen dokumentasjon på at rollefordelte pipeliner kan utnytte flere modeller lønnsomt. Valget bør derfor ikke være «lag eller ikke lag», men hvilken type lag.
Hva Vals AI faktisk målte
Alt vi vet om tallene stammer fra The Decoders dekning av Vals AIs benchmark-studie – selskapets egen rapport inngår ikke i de underlagte dokumentene, så alle opplysninger om metodikk eller skår må leses som sekundærrapporterte, ikke uavhengig verifiserte (kilde: The Decoder, Matthias Bastian, 11. oktober 2026, ID b56a5322).
Målet var Vibe Code Bench med to toppmodeller: OpenAIs GPT-6 Sol og Anthropics Claude Opus 5.5. Hver ble kjørt solo og som agentlag, på to resonneringsnivåer – medium og maksimal innsats. Kostnadsresultatet var entydig negativt for lagene: på tvers av de testede konfigurasjonene koste lagene mellom 1,8 og 5,1 ganger så mye som single-agent-varianten.
Kvalitetsresultatet var derimot omtrent fraværende. Av fire lag-mot-solo-sammenligninger var bare én statistisk signifikant: GPT-6 Sol på medium resonnering, der laget skåret 7,3 poeng høyere. De andre tre viste ingen målbar gevinst. Dekningen oppgir ikke de absolutte baseskårene, så det er umulig å vurdere hvor stor den 7,3 poeng store gevinsten er i praksis – eller hva den koster konkret i de tre ikke-signifikante tilfellene. Det som lar seg si, er at for tre av fire konfigurasjoner var det ingen statistisk målbar kvalitetsgevinst i det hele tatt, mens kostnadsøkningen lå et sted i det rapporterte spennet på 1,8 til 5,1 ganger.
Hvorfor lag svikter: koordinasjonsskatten
To ansatte i OpenAI har forklart mekanismen, begge gjengitt gjennom The Decoder.
Eric Provencher, som er utvikler i selskapet, advarte mot agent-svermer nettopp av denne grunn. Koordinasjonen mellom agentene bryter sammen, argumenterte han, og pengene er «mest sannsynlig bortkastet». Han kalte fenomenet «coordination tax» – koordinasjonsskatten.
Forskeren Noam Brown kom med det samme punktet fra en annen vinkel, gjennom Dwarkesh Podcast: Multi-agent-systemer kjøper primært fart, ikke kvalitet. Fire agenter løser oppgaver dobbelt så raskt – men koster også dobbelt så mye. I den rammen er «laget» rett og slett en parallelliseringsinvestering, ikke en intelligensforsterker.
Brown påpekte også at effekten avhenger av oppgavetypen. Nettsøk og matematikk paralleliserer godt, fordi de kan deles opp i uavhengige delproblemer. Å skrive en roman gjør ikke det: Å kaste 10 000 agenter på en roman er like nytteløst som å kaste 10 000 mennesker på den, sa Brown ifølge The Decoder. Samme logikk gjelder sannsynligvis for enhver sammenhengende kodebase: Parallelliser delbart arbeid, ikke sammenhengende output.
Anthropics egne skalertester bekrefter mønsteret
Det er verdt å merke seg at også Anthropic selv – leverandøren bak Opus 5.5 – har observert avtagende utbytte, ifølge The Decoders gjengivelse av to tester selskapet gjorde med Opus 5.5. Større lag nådde et gitt prestasjonsnivå raskere. Men å gå fra ti til hundre agenter ga bare en marginal forbedring etter 24 timer.
Dette er et selskap som aktivt selger agent-infrastruktur, og likevel rapporteres det at koordinasjonsskatten finnes i egne systemer. Det styrker troverdigheten til mønsteret – selv om også disse tallene kun er tilgjengelige via sekundærkilder, ikke primærpublikasjonen.
Det kompliserende beviset: rollefordelte pipeliner
Her blir bildet mindre rent enn fortellingen «lag er bortkastet penger» antyder.
Anthropic lanserte nylig Claude Haiku 5.5 som en bevisst «sub-agent»-modell: 72,4 % på OSWorld 2.1 – standard benchmarken for AI-datorbruk, ifølge utgiveren på nivå med den 72 prosent menneskelige referansen – til $0,10 per million tokens for «det store flertallet» av reelle forespørsler. Det er en nedgang på 90 % fra forgjengerens $1,00 (Anthropic-påstand, gjengitt i dekningsmateriale, ID 5cacaf4a).
Cognition, selskapet bak Devin, har bygget en konfigurasjon – Devin Fusion – som eksplisitt utnytter dette prisrommet: Haiku 5.5 som «sidekick» for utførelsesoppgaver, med Opus 5.5 som hovedplanlegger. Ifølge Cognitions egne tall skåret kombinasjonen 66,2 på FrontierCode 1.1 – høyere enn noen av modellene alene – samtidig som både kostnad per oppgave og latens gikk ned sammenlignet med et oppsett med én enkelt modell.
Dette er en kritisk avgrensning: Vibe Code Bench testet ikke denne typen heterogen pipeline. Devin Fusion-tallet er en selvrapportert benchmark, ikke en uavhengig verifisering. Men det peker mot en nyansert konklusjon: Det er ikke selve «fleragent»-ideen som feiler – det er flokker av identiske modeller som dupliserer arbeid og konkurrerer om koordinering. Når agentene har ulike roller, ulike prispoeng og ulike styrker, kan regnestykket snu.
Praktisk veiledning: Når er det verdt det?
Basert på tilgjengelig dokumentasjon ser grensene slik ut:
Betal for lag når:
- Oppgaven er parallelliserbar – nettsøk på tvers av mange kilder, matematisk søk, leting i store kodebaser. Browns observasjon støtter dette direkte.
- Du har råd til dobbel pris for dobbel fart, og fart er faktisk flaskehalsen.
- Laget er heterogent (billig utfører + sterk planlegger), ikke en flokk identiske modeller.
Ikke betal for lag når:
- Oppgaven krever sammenhengende, helhetlig output – refaktorering på tvers av filer, arkitekturdesign, skriving.
- Koordinasjonskostnaden (Provenchers «coordination tax») sannsynligvis overstiger gevinsten, noe Vals AIs data tyder på skjer ofte.
- Du vurderer å skalere fra ti til hundre agenter – Anthropics egne data tyder på at gevinsten der er marginal i forhold til kostnaden.
Åpne spørsmål
Flere ting mangler fortsatt: Vals AIs fullstendige rapport, transkripter fra Brown eller Provencher, og Anthropics og Cognitions primærdokumenter er ikke tilgjengelige i dette grunnlaget. De absolutte baselines bak 7,3-poengsgevinsten er ikke oppgitt i dekningsmaterialet, så vi kan ikke vurdere hvor stor gevinsten er i praksis. Og FrontierCode- og OSWorld-resultatene er ikke uavhengig reprodusert.
Men retningen er tydelig nok til å handle på: Ikke bygg flokker. Bygg pipeliner.