MIT-ledet studie i Nature: Værvarsler som slår klimatologiske gjennomsnitt to–seks uker frem, for første gang
Et MIT-ledet forskerteam har utviklet en maskinlæringsmodell som lærer å korrigere feil i eksisterende værvarsler, og som ifølge forskerne dobler varslingsnøyaktigheten i tidsvinduet to til seks uker frem i tid. Studien er publisert i Nature, og ifølge MITs pressemelding er det første gang noen klarer å slå klimatologiske gjennomsnitt i dette intervjet – et område meteorologene kaller «predictability desert». Ifølge pressemeddelelsen vant metoden også førsteplass i en internasjonal varslingskonkurranse.
Resultatene stammer fra pressemeddelelsen og sekundær dekning, ikke fra en uavhengig etterkontroll av artikkelen – men de peker på noe konkret: Ikke en ny AI-modell som erstatter værvarsling, men et etterbehandlingslag som fikser feilene i modellene vi allerede stoler på.
Hva som er nytt
Forskerne, med MIT-forsker Judah Cohen på teamet, utviklet en maskinlæringsmodell som lærer å korrigere feil i eksisterende varslingsmodeller for å forbedre utdataene i to-til-seks-ukersvinduet. Ifølge MITs pressemelding, formidlet av Phys.org, doblet modellen varslingsnøyaktigheten da den ble anvendt på en «gold standard»-modell, og endte ifølge pressemeddelelsen på førsteplass i en fremtredende internasjonal konkurranse.
I Nature-artikkelen beskriver forskerne ifølge pressemeldingen hvordan tilnærmingen gjør det mulig å lage varsler som «for første gang slår klimatologiske gjennomsnitt mellom to og seks uker». De nøyaktige måletallene bak «doblet nøyaktighet» er imidlertid ikke spesifisert i den tilgjengelige dekningen, og AIMag har ikke etterkontrollert tallene selv.
Konkurransesammenhengen kommer fra Popular Science, som skriver at Cohens team leverte tre versjoner av modellen til ECMWFs varslingskonkurranser – angivelig det første bidraget med etterbehandlingsmuligheter. Verken konkurransenavnet eller hvilken modell som ble postprosessert, nevnes i de tilgjengelige kildene.
Hvorfor akkurat dette vinduet er så vanskelig
To til seks uker frem er det meteorologene kaller subsesongvarsling, og det har lenge vært regnet som et nesten umulig mellomrom: for langt frem for de klassiske døgn- til ti-dagersvarslene, for nært til at sesongmønstre kan brukes. Popular Science gjengir Cohens karakterisering av området som «predictability desert» – et ørkenlandskap for forutsigbarhet. Her støter modellene på langsomt bevegelige, sterkt varierende krefter, som årets super-El Niño, ifølge Popular Science.
Cohen sporer den teoretiske to-ukersgrensen til Edward Lorenz' kaosteori fra 1970-tallet. Ifølge pressemeldingen forklarer Cohen Lorenz' standpunkt slik: At det finnes en teoretisk to-ukersgrense, der vi rett og slett ikke kan forutsi været lenger ut, fordi støyen i systemet vokser så mye at den overskygger ethvert signal man starter med. Denne tanken, sier Cohen videre, «fikk stor innflytelse på fagfeltet og kan ha holdt folk tilbake fra å utforske varsling utover to uker» – men, legger han til: «Jeg har aldri helt trodd på det.»
Poengsetningen er viktig for å forstå hva teamet faktisk har gjort: De hevder ikke å ha opphevet kaosteorien. Værtilstanden slik den er om to uker, forblir uforutsigbar i detalj. Det de viser er at det finnes langsomme mønstre – som El Niño-sykluser – som kan fanges opp bedre dersom man retter opp de systematiske feilene modellene allerede gjør.
Mekanismen: etterbehandling, ikke en ny modell
Teknikken kalles etterbehandling. I stedet for å bygge en helt ny værsimulasjon kjører teamet AI-modellen bak eksisterende varsler: Ifølge Popular Science forbedrer AI-en seg ved å sammenligne unøyaktighetene sine med eksisterende historiske data, og justerer deretter ut fra det. Modellen lærer altså hvilke feil en gitt varslingsmodell typisk gjør i dette vinduet – og korrigerer for dem.
Det er en beskjeden teknisk inngripen med potensielt store konsekvenser: Dynamiske modeller, basert på fysikk, og moderne AI-modeller bryter begge sammen i to-til-seks-ukersvinduet. En etterbehandlingsmodell som vet hvor de vanligvis tar feil, kan få utbytte av begge. Og fordi metoden bygger på modellene vi allerede har, trengs i prinsippet ingen ny superdatamaskin eller fullstendig gjenoppbygging av varselapparatet for å ta den i bruk.
Hvem står bak
Studien har to førsteforfattere: Hannah Guan, student ved Harvard College, og Soukayna Mouatadid, postdoktor ved University of Toronto. Med på forfatterlisten er ifølge pressemeldingen Genevieve Flaspohler, Paulo Orenstein (assosiert professor ved Brasils nasjonale institutt for ren og anvendt matematikk), Jeremy Berman (dataselskapet DTN), Jakob Schloer og Joshua Talib (begge ved Det europeiske senteret for middelskala værvarsling, ECMWF), samt Alex Lu, Haiyu Dong, Jonathan Weyn, Zekun Ni og Lester Mackey – alle forskere ved Microsoft.
Det er verdt å merke seg en ulikhet i dekningen: Popular Science ramer samarbeidet inn som et prosjekt mellom «Cohen og hans kollega Lester Mackey», mens MITs pressemeddelelse lister opp et større, tverrinstitusjonelt team med Guan og Mouatadid som førsteforfattere. Kildene gir ikke grunnlag for å avgjøre hvilken beskrivelse som fanger arbeidsfordelingen best, så begge gjengis her.
Hvorfor det betyr noe
Ifølge pressemeddelelsen er motivasjonen ikke bare akademisk. I februar 2021 ble Texas rammet av tre alvorlige vinterstormer, som førte til det verste energianleggsbruddet i delstatens historie. Minst 246 mennesker omkom som følge av forsyningssvikt, som førte til mangel på mat, vann, varme og strøm. Lengre forvarslingstid – to til seks uker i stedet for dager – kan ifølge pressemeddelelsen ha gitt myndigheter og energiselskaper tid til å forberede seg.
Cohen peker ifølge Popular Science også på at forbedringen gjelder ekstremværhendelser, ikke bare gjennomsnittlige forhold:
«Den forbedrer også varsler om ekstremværhendelser, enten det er flom, kalde perioder eller noe annet. Det er veldig viktig å forutsi begge deler, men ekstremvær kan være den mest samfunnsviktige delen av dette.»
Konkret betyr det potensielt noe for bønder som skal planlegge såing og høsting, energiselskaper som må balansere forbruk og produksjon uker i forveien, og myndigheter som trenger forvarsel på flom eller kuldeperioder.
Åpne spørsmål
Flere ting er fortsatt uavklart. Konkurransen som teamet ifølge MITs pressemelding vant, er ikke navngitt i kildene – Popular Science skriver at bidragene ble levert til ECMWFs varslingskonkurranser, men det er uavklart hvilken konkret konkurranse og arrangør som gjelder. Det er heller ikke oppgitt hvilken «gold standard»-modell som ble postprosessert, selv om ECMWFs deltakelse på forfatterlisten antyder svaret. Tallene bak «doblet nøyaktighet» er ikke spesifisert, og det er uklart hvor robuste resultatene er på tvers av regioner, årstider og værfenomener. Det er i tillegg ikke oppgitt hva operativ bruk i et nasjonalt varselapparat vil kreve av validering, infrastruktur og oppdatering over tid.
Men hovedinntrykket etter den tilgjengelige dokumentasjonen er dette: Den viktigste fremgangen i langtidsvarsling kan ikke nødvendigvis komme fra større AI-modeller alene, men fra systematisk å lære opp maskiner til å se hvor modellene våre tar feil – og rette det.
AIMag har ikke etterkontrollert resultatene i Nature-artikkelen; tallene og påstandene om dobling og førsteplass stammer fra MITs pressemeddelelse og Popular Sciences dekning.