Vals AI-benchmark: Agentlag koster 1,8–5,1 ganger mer, og ga bedre kvalitet i bare én av fire sammenligninger
Nye benchmark-resultater fra evalueringsfirmaet Vals AI tyder på at lag av AI-agenter hovedsakelig kjøper fart, ikke bedre resultater. Ifølge en rapport publisert av The Decoder 11. oktober 2026 kostede flervalgsløsninger med agentlag mellom 1,8 og 5,1 ganger mer enn enkeltagenter, mens bare én av fire sammenligninger viste en statistisk signifikant kvalitetsforbedring. Konklusjonen korroberes av egne skaleringstester fra Anthropic og advarsler om «koordineringsavgift» fra OpenAI-forskere – men bevisgrunnlaget har klare begrensninger som virksomheter bør kjenne til før de omlegger egne agentutplasseringer.
Hva Vals AI fant
Vals AI testet modellene GPT-6 Sol og Claude Opus 5.5 på benchmarken «Vibe Code Bench», både som enkeltagenter og som lag, ved to resonneringsnivåer: middels og maksimal resonneringsinnsats. Ifølge The Decoders rapportering kostet agentlagene mellom 1,8x og 5,1x mer enn enkeltagentene (The Decoder).
Kvalitetsgevinsten var langt mer beskjeden. Av fire sammenligninger mellom lag og enkeltagenter var det bare én som viste en statistisk signifikant forbedring: GPT-6 Sol ved middels resonneringsinnsats, der laget skåret 7,3 poeng høyere. Ved maksimal resonneringsinnsats ga lagoppsettet verken Sol eller Opus 5.5 noen reell fordel. Med andre ord: Den dyrere konfigurasjonen betalte seg i praksis bare i ett av fire tilfeller – og da under forhold der modellen ikke kjørte med full beregningskapasitet.
The Decoder oppsummerer resultatene slik: Det tyder på at ekstrakostnaden ved agentlag ikke er verdt det i de fleste tilfeller, særlig når modellene allerede kjører på full beregningskraft.
Anthropics egne skaleringstester peker i samme retning
Bildet bekreftes delvis av Anthropic, som ifølge The Decoder har kjørt to egne tester med Opus 5.5. Selskapet så at kvalitetsgevinsten flater ut etter hvert som flere agenter legges til: Større lag nådde riktig nok et gitt prestasjonsnivå raskere, men å gå fra ti til 100 agenter flyttet bare skårene marginalt etter 24 timer. På en kunnskapsbaseoppgave steg skåren fra 0,70 til 0,74, og på Lean-teorembevis fra 0,66 til 0,68 – en tidobling av antall agenter for noen få hundredeler på skalaen.
Et interessant unntak er modellen Fable 5.1, som viste sterke kvalitetsgevinster på Lean-teorembevis over ti agenter. Men Fable 5.1 skåret likevel under Opus 5.5 i samtlige tester, og på kunnskapsbaseoppgaven falt skåren faktisk noe når skaleringen gikk fra 30 til 100 agenter. Det siste punktet er verdt å merke seg: Flere agenter kan altså ikke bare gi avtagende avkastning, i enkelte tilfeller ser resultatene ut til å bli dårligere.
Det er verdt å holde fast på at dette er sekundærkilde-rapportering. Anthropics testdata er presentert uten publiseringsdato eller metodikk i kilden, og det er uklart om selskapet har offentliggjort dem uavhengig eller utelukkende via The Decoder. Les dem derfor som indikasjoner, ikke som fullstendig dokumenterte resultater.
OpenAI: Fart, ikke kvalitet – og en «koordineringsavgift»
OpenAI-forsker Noam Brown har ifølge The Decoder bekreftet bildet i podkasten Dwarkesh Podcast: Multiagentsystemer kjøper i hovedsak fart, ikke bedre kvalitet. Fire agenter løste oppgaver dobbelt så raskt, men kostet også dobbelt så mye. Med 16 agenter holdt mønsteret stand, men effektiviteten ble noe dårligere. Brown understreket i følge rapporteringen at effekten er sterkt oppgaveavhengig – det er altså ikke en universell lov.
OpenAI-utvikler Eric Provencher har nylig advart mot å bruke agentsvermer av samme grunn. De er mest sannsynlig bortkastede penger, argumenterte han, fordi koordineringen mellom agentene bryter sammen. Han kalte fenomenet «koordineringsavgiften» («coordination tax»): Jo flere agenter som skal jobbe sammen, desto mer av innsatsen går med til å holde dem synkronisert i stedet for å løse selve oppgaven.
Hva funnene faktisk betyr
Samlet peker tre uavhengige kilder i samme retning: Agentlag ser hovedsakelig ut til å redusere ventetid, ikke heve taket på kvalitet. Det er en nyttig distinksjon for alle som planlegger agentarkitektur.
Konkret tyder dataene på to situasjoner der lag kan forsvares:
- Når hastighet er selve poenget. Brown beskriver fire agenter som løser oppgaver dobbelt så raskt til dobbel pris. Dersom tid-til-resultat er verdt mer enn tokenkostnad – for eksempel i interaktive arbeidsflyter – kan regnskapet gå opp. Anthropics funn om at større lag når prestasjonsnivåer raskere, peker i samme retning.
- Når modellen ellers kjører under maksimal beregningsinnsats. Den eneste signifikante kvalitetsgevinsten i Vals AIs data kom ved middels resonneringsinnsats. Ved maksimal innsats ga lagene ingen fordel. Det tyder på at ekstra agenter delvis fungerer som en dyr erstatning for beregning som enkeltmodellen allerede kan bruke bedre på egen hånd.
Og én situasjon der de tilsynelatende ikke forsvares: Når målet er høyest mulig sluttresultat og modellen allerede kjører på full kapasitet. Der betaler man opptil 5,1 ganger mer for omtrent samme resultat.
Dette er støttet analyse, ikke etablert konsensus. Vals AI er et selskap som selger evalueringstjenester – det er ikke bevist noen interessekonflikt, men det er en posisjon som bør gjøres synlig, og kilden adresserer ikke spørsmålet.
De åpne spørsmålene
Det finnes vesentlige begrensninger i bevisgrunnlaget:
- Alt hviler på én sekundærkilde. Verken Vals AIs egen rapport, Anthropics interne testdokumenter eller podkasttransskriptet foreligger her. Alle tall er gjenstand for The Decoders formidling.
- Benchmarken er udokumentert i kilden. Vibe Code Bensh omfang, oppgavetyper og hva skårene faktisk måler, er ikke beskrevet i detalj. At resultatene gjelder kode- og agentoppgaver, betyr ikke at de lar seg generalisere til alle kodings- eller agentarbeidsmengder.
- Metodikken bak Anthropics tester mangler. Uten datoer, oppsett og feilmarginer kan vi ikke vurdere hvor robuste tallene 0,70→0,74 og 0,66→0,68 er.
- Oppgaveavhengigheten er uavklart. Brown karakteriserer selv effekten som sterkt oppgaveavhengig, men kilden sier ikke hvilke oppgavetyper som gagner seg mest eller minst på lag.
Den mest forsvarlige konklusjonen er derfor ikke at agentlag er en «mode». Den er at kostnadsregnskapet har endret seg: Mens agentlag-rammeverk skaleres ut i virksomheter nå, tyder tre uavhengige kilder på at standardantakelsen – flere agenter, bedre resultat – ofte ikke holder. For de fleste bør det utløse et konkret spørsmål: Måler vi i det hele tatt om våre agentlag leverer kvalitetsgevinster som rettferdiggjør multiplikatoren de legger på regningen?