OpenAI kritiserer kodebenchmarken som prissetter hele bransjen

OpenAI kritiserer kodebenchmarken hele bransjen prissetter etter

OpenAI har publisert sin egen gjennomgang av hvor upålitelige kodeevalueringer er – akkurat idet Meta, xAI og Cognition lanserer nye kodemodeller målt på akkurat disse tallene. Når dommeren setter spørsmålstegn ved poengtavlen, hviler innkjøpsbeslutninger på omstridt grunn.

Det finnes en liten gruppe tall som i praksis setter prisen på AI-koderverktøyene dine. De har navn som SWE-bench, de måler hvor stor andel av reelle programvareoppgaver en modell løser, og de er den viktigste valutaen i hele bransjen. Når Meta lanserer et kodemodellpar, når xAI presenterer sin sterkeste modell for koding, når Cognition slipper neste versjon i SWE-serien – er det slike tall som utgjør nyhetsverdien.

Nå har OpenAI publisert et innlegg med tittelen «Separating Signal from Noise: Coding Evaluations». Temaet er hvor pålitelige kodeevalueringene egentlig er. Bransjens egen dommer setter altså spørsmålstegn ved selve poengtavlen.

Vi bør være ærlige på hva vi faktisk vet her. OpenAIs fulle tekst var ikke tilgjengelig da denne saken ble skrevet – kilden bak lenken returnerte bare en verifiseringsside – men innleggets eksistens, tittel og tema er bekreftet uavhengig gjennom TLDR AI, som omtaler det som en gjennomgang av påliteligheten i kodebenchmarks, inkludert svakheter ved SWE-Bench Pro. Det konkrete innholdet i OpenAIs kritikk kan vi altså ikke gjengi i detalj. Vi kan derimot dokumentere hva som skjedde rundt det, og hvorfor timingen gjør målesystemet selv til hovedsaken.

Månedens lanseringer, månedens tall

Den 5. august gikk Meta inn i AI-koding med Muse Code, en terminalbasert kodeagent, og Muse Spark 1.2, en kodespesialisert modell. Ifølge MSNs dekning sikter lanseringen direkte mot Anthropics Claude Code og OpenAIs kodeverktøy – og analysen varsler at utspillet kan utløse nok en priskrig i kategorien.

Tidligere i juli omtalte TLDR AI xAIs Grok 4.5, lansert som selskapets sterkeste modell for koding, agentoppgaver og kunnskapsarbeid – med detaljen at modellen ifølge selskapet selv skal ha blitt trent sammen med Cursor, ett av de mest brukte kodeverktøyene i markedet. Samme uke sto SWE-1.7 fra Cognition på listen, neste steg i en modellserie med en svært gjenkjennelig forkortelse.

Det felles for alle tre: Konkurransen dem imellom måles med de samme SWE-bench-lignende evalueringene. Og det er nettopp denne typen evalueringer OpenAI nå offentlig fraråder oss å lese som fasit.

Hvorfor saken skjer nå

Timingen er ikke tilfeldig. Lanseringstettheten i kodemodellmarkedet har økt kraftig – tre store utspill på underkant av to måneder – og hver lansering følger samme dramaturgi: ny modell, ny benchmark-score, ny påstand om ledelse. McKinseys siste State of AI-rapport viser at 62 prosent av organisasjoner allerede eksperimenterer med AI-agenter i en eller annen form, mens Gartner forventer at over 40 prosent av disse prosjektene blir skrapet. Altså: Flere kjøpere enn noensinne står i ferd med å ta beslutninger på grunnlag av tall leverandørene selv uttrykker mistillit til.

For det er det strukturelle poenget. Valg av kodeagent, valg av API-leverandør og prissetting av enterprise-avtaler nøkles opp mot benchmark-forskjeller på noen få prosentpoeng. Hvis målemetodene er så støyfulle som OpenAIs tittel antyder, kan hele hierarkiet mellom grensemodellene være mindre enn variasjonen fra én kjøring av testen til neste.

Hvordan en benchmark bryter sammen

Man trenger ikke OpenAIs fulltekst for å forstå mekanismene; de er beskrevet i forskningslitteraturen over flere år. En SWE-bench-lignende evaluering er en kjede med svake ledd. Oppgavene hentes fra reelle kodebaser – som betyr at identiske problemer kan ligge i treningsdataene til modellen som testes, det såkalte kontamineringsproblemet. Oppgavene filtreres og kurateres av mennesker som velger hva som telles med, og det gir rom for å fremheve delmengder der modellen gjør det best. Selve kjøringen avhenger av agentrammeverket rundt modellen, slik at to laboratorier som tester samme modell med ulike verktøykjeder kan få ulike resultater. Og til slutt: En enkelt benchmark-kjøring er stokastisk. Samme modell, samme oppgave, to kjøringer – to utfall.

Hver av disse svakhetene alene er håndterbar. Kombinert betyr de at et tall på en toppliste er et utsagn, ikke et faktum. Det bør leses slik en revisor leser et regnskap: Hvem har konstruert målet? Hva er filtrert bort? Hvor store er usikkerhetsmarginene? Og hvem har insentiv til at tallet lander der det lander?

Dommeren er også deltaker

Her må vi være like skeptiske til OpenAI som OpenAI er til benchmarkene. Selskapet er ikke nøytral revisor. Det er en av de tydeligste konkurrentene i kodemodellmarkedet – Metas Muse-lansering peker eksplisitt mot OpenAIs verktøy – og kritikken kommer fra en aktør som selv konkurrerer på de samme listene.

Motargumentet er åpenbart: Hvis målingene er støyfulle, gjelder det alle, også OpenAIs egne modeller. Konkurrentene kan hevde at støyen skjærer begge veier, og at OpenAI har liten grunn til å undergrave et system det ofte scorer godt på. Vi vet heller ikke – før fullteksten er tilgjengelig for uavhengig gjennomgang – hvor langt OpenAIs kritikk rekker: om den konstaterer at metodene er upresise, eller at de er strukturelt ubrukelige. Det er en stor forskjell.

Motforcen på den andre siden er også reell: Imperfekte benchmarks har likevel fulgt den opplevde fremdriften i AI-koding i årevis. Målingen er dårlig, men den bærer vekt. Det er denne dobbeltbindingen – upålitelig og uunnværlig samtidig – som er historiens egentlige spenning.

Hva skjer med pengene

Konsekvensen er ikke akademisk. Meta går nå direkte mot Claude Code og OpenAI med et produkt_par_ som ifølge MSN-analysen kan utløse ny priskrig. Priskriger handles på differensiering, og differensieringen i dette markedet dokumenteres med benchmark-tall. Hvis kjøperne – utviklere, teknologisjefer, innkjøp – slutter å stole på tallene, forsvinner grunnlaget for å betale premie for en «ledelse» som kanskje er statistisk støy.

For de 62 prosent av organisasjonene som eksperimenterer med AI-agenter, er læringspunktet konkret: Ikke velg kodeagent etter toppliste alene. Test på egne kodebaser, egne oppgaver, egne verktøykjeder. En modell som løser 70 prosent av en offentlig oppgavesamling kan være dårligere for ditt repo enn en modell som løser 65 – fordi den offentlige samlingen, med alle sine valg og filtreringer, aldri har sett kodebasen din.

Spørsmålet som gjenstår

Den åpne saken er ikke om benchmarkene er perfekte – alle er enige om at de ikke er det. Spørsmålet er hva som erstatter dem som dommer. Egentlig uavhengig revisjon av modellferdigheter finnes i praksis ikke i dag: Hver evaluator er enten et selskap med egne modeller, et benchmark-miljø med egne valg, eller en kunde uten metodisk kompetanse. Det første laboratoriet som faktisk sender seg selv til uavhengig, offentlig revisjon – med forhåndspubliserte metoder og full åpenhet om kontaminering – tar et grep ingen av dagens lanseringer har tatt. Inntil da leser vi poengtavlen vi har, og vet at dommeren selv mener den teller feil.