COBOL-migrering fra 5,4 til 86,6 prosent – OpenAIs tall mangler foreløpig uavhengig verifisering
OpenAI hevder at de nyeste modellene nå kan bygge og migrere programvare i «lavressursspråk» som COBOL, Fortran og Visual Basic med et hopp i presisjon – men alle tallene er selskapets egne, og uavhengig testing gjenstår.
OpenAI kunngjorde 19. oktober 2026 at selskapets siste modellforbedringer gir «sterkere evner til å bygge og migrere programvare i lavressurs-programmeringsspråk som COBOL, Fortran og Visual Basic» (OpenAI). Påstandene er store: en COBOL-poengsum som skal ha steget fra 10,9 til 72,1 prosent, og en COBOL-migreringsevaluering der selskapet rapporterer 86,6 prosent nøyaktighet der forgjengeren fikk 5,4. Alle tallene kommer fra OpenAIs egne evalueringer, og per kunngjøringstidspunkt finnes ingen uavhengig verifisering.
Slik er det målt
OpenAI har bygget to egne evalueringer. Den første, MultiLangBench, tester om en modell kan bygge en SQLite-kompatibel databasemotor fra bunnen av i 20 ulike programmeringsspråk. Den andre er en COBOL-migreringsevaluering som tester om modellen kan flytte eksisterende programmer til et annet språk «samtidig som oppførselen bevares», ifølge selskapet. De fullstendige metodiske kriteriene for migreringsevalueringen er ikke offentliggjort i sin helhet i kunngjøringen.
Målet er strengt, og med rette: OpenAI peker selv på hvorfor oppgaven er vanskelig. COBOLs fastpunktaritmetikk forkaster overflødige desimaler med mindre avrunding eksplisitt er forespurt. En omskriving som avrunder disse verdiene i stedet, kan kjøre uten feil «samtidig som den produserer ulike finansielle resultater». Med andre ord: en migrering som ser vellykket ut, kan endre saldoer og renteberegninger i bankenes systemer.
Tallene, slik OpenAI selv presenterer dem
På MultiLangBench, ved maksimal resonneringsinnsats, rapporterer OpenAI at GPT-6 Astra oppnår en gjennomsnittlig testgjennomføringsrate på 87,4 prosent på tvers av de 20 språkene, opp fra 26,8 prosent for GPT-5.6 Sol. Forbedringene skal omfatte hvert testet språk:
- COBOL: 10,9 → 72,1 prosent (fortsatt det vanskeligste)
- OCaml: 25,6 → 85,8 prosent
- Fortran: 21,4 → 83,5 prosent
- Visual Basic: 27,5 → 89,4 prosent
På COBOL-migreringsevalueringen rapporterer selskapet at GPT-6.1 Sol oppnår 86,6 prosent nøyaktighet ved lav resonneringsinnsats, mot 5,4 prosent for GPT-5.6 Sol – med 39 prosent lavere kostnad. Ved høyere resonneringsinnsats skal nøyaktigheten nå 97,9 prosent, noe OpenAI beskriver som nær metning av evalueringen.
I tillegg oppgir selskapet at GPT-6 Luna forbedres i hvert testet språk til en estimert gjennomsnittlig API-kostnad på 0,77 dollar per prøve, mot 3,48 dollar for GPT-5.6 Sol – omtrent 78 prosent lavere. Også kostnadstallene er selskapets egne estimater.
Hvorfor eldre kode er en stor markedsplass
OpenAI begrunner satsingen med COBOLs vedvarende rolle i samfunnsinfrastruktur: Ifølge selskapet, som viser til eksterne kilder via lenker i kunngjøringen, støtter språket mer enn 40 prosent av nettbanksystemene, 80 prosent av kredittkorttransaksjoner i fysisk butikk og 95 prosent av minibanktransaksjoner. Samme kildegrunnlag skal ifølge OpenAI vise at Fortran brukes i værvarsling og sikkerhetsanalyser av atomreaktorer – også disse opplysningene er altså selskapets gjengivelse av eksterne kilder, ikke uavhengig etterprøvd av AIMag.
CryptoBriefing, som har dekket kunngjøringen, sitrer et uattribuert estimat om at 800 milliarder linjer COBOL fortsatt er i produksjon, i systemer hos banker, offentlige etater og store foretak. Tallet bør leses som et anslag uten oppgitt kilde, ikke som et fastslått faktum.
Historisk har forskningsbenchmarker vist lave Pass@1- og kompileringsrater på COBOL-oppgaver – fra ensifrede tall til rundt 40 prosent, ifølge CryptoBriefings gjennomgang. Mot det bakteppet er OpenAIs påstand om 72 prosent på COBOL og nesten metning på migrering et dramatisk sprang – som er nøyaktig hvorfor uavhengig testing betyr noe.
Konkurranse og skepsis
OpenAI er ikke alene om dette markedet. Ifølge CryptoBriefings sekundærdekning ga Anthropic ut COBOL-relaterte oppdateringer i februar 2026, og IBM tilbyr watsonx Code Assistant, et verktøy bygget for å oversette COBOL til Java. De samme opplysningene er ikke bekreftet av en primærkilde.
CryptoBriefing påpeker også kjernen i skeptikerens sak: OpenAI «har ikke publisert sammenlignbare benchmark-tall for den nyeste oppdateringen i denne kunngjøringen, så uavhengig testing vil bety noe» (oversatt fra engelsk). Med andre ord finnes foreløpig ingen tredjepart som kan bekrefte tallene.
Hva som lar seg verifisere nå
Én ting skiller denne kunngjøringen fra mange andre benchmark-rapporter: OpenAI slipper selve evalueringen. Ifølge selskapet publiseres MultiLangBench-evalueringsoppsettet og testpakken på GitHub, sammen med resultatene for hvert språk. Det betyr at uavhengige forskere i prinsippet kan kjøre evalueringen selv og teste påstandene om 87,4 og 72,1 prosent.
OpenAI har også åpnet for innspill fra utviklere om hvilke språk som bør prioriteres videre – en invitasjon som antyder at selskapet ser dette som et pågående program, ikke en engangsoppdatering.
Åpne spørsmål
Det gjenstår flere ting kunngjøringen ikke svarer på. For det første den ovennevnte mangelen på uavhengig verifisering. For det andre er de fullstendige metodiske kriteriene for migreringsevalueringen ikke tilgjengelige i kunngjøringen, slik at nøyaktig hvordan «bevart oppførsel» måles, foreløpig er uklart. For det tredje er det uklart hvilke av de nevnte modellene som er tilgjengelige for kunder gjennom hvilke produkter – kunngjøringen knytter GPT-6 Astra, GPT-6 Luna og GPT-6.1 Sol til evalueringene, men går ikke inn på hvordan evnene når sluttbrukerne.
Det konkrete spørsmålet de neste ukene er derfor ikke om tallene OpenAI presenterer er imponerende – det er de, på papiret – men om de holder når andre får lov til å kjøre samme tester.