Hvitt hus-avtale løfter frem KI-evaluererne – uten krav om rapportering eller åpenhet
På bare noen uker har de uavhengige KI-evaluerende institusjonene gått fra fotnote til sentrale aktører: pengeløfter målt i titalls millioner dollar, direkte omtale i Det hvite hus frivillige avtale, og løfter fra laboratoriene om å bygge dem inn i egen virksomhet. Samtidig har OpenAI sparket tre sikkerhetsforskere – to av dem sier avskjedene henger sammen med kontakten deres med tredjepartsevaluatorene. Økosystemet som skal granske KI-laboratoriene finansieres og formaliseres altså nå, før de grunnleggende spørsmålene om hvem som betaler, til hvem evaluatorne rapporterer og om funnene blir offentlige er besvart.
Politikkutløseren: en avtale som peker, men ikke forplikter
Sent i september presenterte presidenten en frivillig avtale der han oppfordret KI-selskapene til å inngå partnerskap med en uavhengig ekstern revisor eller evaluator (CNBC). Språket er viktig fordi det løfter tredjepartsevaluering inn i den offisielle sikkerhetspolitikken rundt frontier-KI.
Men avtalen er, slik Brookings-analysen av den beskriver den, taus om akkurat det som avgjør om evaluering blir meningsfull. Ifølge analysen drøfter den ingen steder grunnleggende spørsmål som hvem evaluatorne rapporterer til, hvem som betaler dem, og om de har mulighet til å gripe inn og stoppe skadelige praksiser de oppdager. Det finnes heller ingen krav om at revisorenes funn gjøres offentlige – eller engang overleveres en ansvarlig offentlig instans (Brookings).
Det betyr at avtalen skaper en forventning om ekstern gransking uten å skape noen struktur for den. Rapporteringslinjer, finansiering, inngrepsmuligheter og åpenhet overlates til laboratoriene selv – altså de samme selskapene som skal evalueres.
Laboratoriene lover å slippe evaluatorene inn
Industrien har likevel beveget seg raskt. Anthropic-sjef Dario Amodei lovet forrige måned å bygge inn uavhengige evaluatorer i selskapet sitt – et løfte OpenAI-sjef Sam Altman raskt gikk god for, ifølge CNBC (CNBC). OpenAI uttalte i et innlegg på fredagen at selskapet nå aktivt ferdigstiller kontrakter med tredjeparts sikkerhetsvurderere og vil kunngjøre detaljene i de kommende ukene.
Så langt er dette selskapsutsagn, ikke offentliggjorte kontrakter. Det er ukjent hvem som skal betale, hvilke tilgangsrettigheter evaluatorne får, om funnene kan publiseres, og om evaluatorne kan uttale seg fritt. Med andre ord: akkurat de spørsmålene Brookings peker på som ubesvarte i avtalen, er også ubesvarte i laboratorienes løfter – inntil kontraktene blir kjent.
OpenAI-avskjedene: en tidlig prøve på uavhengighet
Mens løftene ble gitt, fant en annen sak sted som kan bli en test av hele ordningen. OpenAI sparket forrige uke tre ansatte for brudd på selskapets retningslinjer for tilgang til og håndtering av sensitiv selskapsinformasjon, ifølge en talsperson. To av de oppsagte, Mikita Balesni og Tomek Korbak, har sagt at de tror de ble sagt opp på grunn av måten de kommuniserte med tredjepartsevaluatorer på, ifølge deres egne innlegg på X gjengitt av CNBC (CNBC).
OpenAI avviser den framstillingen. En talsperson fortalte TechCrunch at de tre ble sagt opp etter en granskning som avdekket et misbruksmønster i klar strid med selskapets retningslinjer for håndtering av forskningsinformasjon, og at dette går utover å dele informasjon med en ekstern KI-evalueringsgruppe. Selskapet har ikke spesifisert hvilke retningslinjer som ble brutt (TechCrunch).
De to framstillingene lar seg ikke forene ut fra tilgjengelig kildemateriale, og denne artikkelen legger ikke til grunn at noen av dem er riktig. Men for evalueringsspørsmålet er det nesten irrelevant hvem som har rett: Saken viser at en ansatts kontakt med eksterne evaluatorer kan havne i sentrum av en oppsigelseskonflikt, uten at regelverket for slike kontakter er klart. Balesni og Korbak skriver sammen med Jasmine Wang i et åpent brev at ansatte, med tanke på de betydelige sikkerhetsproblemene rundt KI-utvikling, ikke må etterlates i et miljø der frykt og uklare regler hindrer sikkerhetsarbeidet og svekker tredjepartsansvarlighet. De advarer også om at oppsigelser som deres, utført og kommunisert så brått, kjøler ned den åpne kulturen OpenAI har verdsatt (TechCrunch).
Hvis laboratorieansatte risikerer oppsigelse for å formidle informasjon til evaluatorer, blir evaluatorenes faktiske tilgang avgjørende – og den avgjøres av kontraktene OpenAI nå sier de ferdigstiller. Åpen brevveksling om hva som er tillatt, finnes foreløpig ikke.
Følg pengene: fra 13,6 millioner til over 100
Uansett hvordan konfliktene løses, er pengene i ferd med å komme. To tall illustrerer omfanget.
Vals AI, et kommersielt evalueringsselskap, har ifølge sin administrerende direktør Rayan Krishnan vokst fra åtte ansatte til rundt 30 i år, og kunngjorde i august en finansieringsrunde på 40 millioner dollar, ifølge gjengivelser i Market Briefs (Briefs).
METR, en ideell organisasjon, oppga i august å ha sikret seg rundt 71 millioner dollar i løfter over seks måneder – mot totalt 13,6 millioner dollar i bidrag for hele 2024, ifølge organisasjonens siste IRS-rapportering. METR sier at den avslo betaling for det aktuelle arbeidet (Briefs).
Det er verdt å være nøyaktig med hva tallene er: Dette er selskaps- og organisasjonsoppgivelser gjengitt gjennom sekundærkilder, ikke offentlig reviderte regnskap. Og for METRs del er det ikke oppgitt om de rundt 71 millionene kommer fra kilder uavhengige av KI-laboratoriene – nøyaktig det som er sentralt for finansieringskonflikt-spørsmålet. At organisasjonen sier den avslo betaling for ett konkret oppdrag, sier ingenting om den samlede finansieringsstrukturen.
Andrew Freedman, som leder det politiske tankesmiet Fathom, forventer en tilstrømning av kapital til økosystemet. Han sier han har jobbet med politikk i tjue år av sitt liv og aldri sett et spørsmål bevege seg så raskt på så mange forskjellige politiske spektra (Briefs).
Uavhengighetsproblemet: hvem betaler dommeren?
Alle tallene over peker mot samme strukturelle problem, som Suresh Venkatasubramanian, professor i informatikk ved Brown University, har satt ord på. I en viss grad er problemet, som alltid, penger, sa han til CNBC: Hvem betaler disse selskapene for arbeidet? Hvordan skal de forsørges? Man trenger et økosystem, man trenger en levedyktig forretningsmodell (CNBC).
Og hvis man vil ha ekte tredjepartsevaluering, trenger man ekte uavhengighet – økonomisk og ellers – sier han (Briefs).
Matematikken er enkel: Hvis laboratoriene er de naturlige betalerne – fordi de er de eneste som har modellene evalueringen gjelder, og fordi avtalen oppfordrer dem, ikke offentligheten, til å skaffe evaluatorer – da står bransjen overfor et prinsipp–praksis-dilemma. En ideell organisasjon som METR kan takke nei til betaling i enkeltsaker, men 71 millioner dollar må komme fra noen. Et kommersielt selskap som Vals AI trenger kunder, og de naturlige kundene er nettopp laboratoriene. Ingen av kildene viser til noen offentlig finansieringsordning som kan bryte denne avhengigheten.
Det finnes kjente modeller for dette i andre bransjer – revisjonsbransjens lange historie med uavhengighetsproblemer er den mest åpenbare parallellen, der klienten som betaler for revisjonen også er den som granskes. Men revisjonsbransjen har lovverk, krav om offentlig rapportering og tilsynsorganer. KI-evaluering har, per nå, ingen av delene: Brookings-analysen slår fast at avtalen ikke krever verken offentliggjøring eller overlevering til offentlige instanser (Brookings).
Hva du bør se etter
De neste ukene gir tre konkrete målestokker for om ordningen blir reell uavhengighet eller et symbol:
Kontraktene OpenAI kunngjør. Selskapet sier detaljene kommer i de kommende ukene. Det som betyr noe er ikke at kontrakter signeres, men termene: hvem som betaler, hvilken tilgang evaluatorne får til modeller og intern informasjon, om de kan publisere funn uten forhåndsgodkjenning, og om de kan uttale seg når de finner noe alvorlig. Hvis kontraktene er hemmeligholdte, gjentas avtalens svakhet på kontraktsnivå.
Hvor METRs 71 millioner kommer fra. Hvis løftene i vesentlig grad stammer fra KI-laboratorier eller fra donorer som er tett knyttet til dem, er økonomisk uavhengighet – i Venkatasubramanians forstand – fortsatt ikke innfridd, uansett hvor store beløpene er. Hvis de kommer fra stiftelser eller offentlige kilder uavhengige av bransjen, endrer det grunnlaget.
Om avtalen får tenner. Brookings-kritikken peker på at uten krav om rapportering og offentliggjøring forblir evalueringen frivillig i praksis. Enhver endring i den retningen – lovverk, regelverk eller frivillige tillegg med rapporteringsplikt – vil være mer strukturelt betydningsfullt enn flere finansieringsrunder.
I mellomtiden er OpenAI-avskjedene en påminnelse om at uavhengighet ikke bare handler om penger, men om tilgang og kultur: En evaluator uten informasjonsflyt fra ansatte som tør å snakke, har lite å evaluere. Om de oppsagte forskerne hadde rett, eller om OpenAIs beskrivelse av et bredere misbruksmønster stemmer, er uavklart. Men saken viser at spørsmålet om hvem KI-dommerne skylder lojalitet – arbeidsgiveren som betaler, offentligheten som trenger granskingen – nå avgjøres i praksis, gjennom kontrakter og oppsigelser, lenge før det er besvart i prinsipp.
White House Accord Lifts AI Evaluators — Without Demands for Reporting or Transparency
In just a few weeks, the independent AI evaluation institutions have gone from footnote to central players: funding pledges measured in the tens of millions of dollars, direct mention in the White House's voluntary accord, and promises from the labs to build them into their own operations. At the same time, OpenAI fired three safety researchers — two of whom say the dismissals are connected to their contact with third-party evaluators. The ecosystem meant to scrutinize AI labs is thus being funded and formalized now, before the fundamental questions of who pays, to whom evaluators report, and whether findings become public have been answered.
The policy trigger: an accord that points, but does not bind
In late September, the president presented a voluntary accord in which he urged AI companies to "partner with an independent external auditor or evaluator" (CNBC). The language matters because it lifts third-party evaluation into the official safety policy around frontier AI.
But the accord is, as the Brookings analysis of it describes, silent on exactly what determines whether evaluation becomes meaningful. According to the analysis, nowhere does it discuss basic issues such as to whom the evaluators report, who pays them, and whether they have the ability to intervene and stop harmful practices they discover. There is also no requirement that the auditors' findings be made public — or even handed over to any responsible public interest agency (Brookings).
That means the accord creates an expectation of external scrutiny without creating any structure for it. Reporting lines, funding, intervention powers, and transparency are left to the labs themselves — the very companies being evaluated.
The labs promise to let the evaluators in
Industry has nonetheless moved quickly. Anthropic CEO Dario Amodei promised last month to embed independent evaluators in his company — a pledge OpenAI CEO Sam Altman quickly endorsed, according to CNBC (CNBC). OpenAI stated in a post on Friday that it is "actively finalizing contracts with third-party safety assessors and will announce details in the coming weeks."
So far, these are company statements, not published contracts. It is unknown who will pay, what access rights evaluators will get, whether findings can be published, and whether evaluators can speak freely. In other words: exactly the questions Brookings flags as unanswered in the accord are also unanswered in the labs' pledges — until the contracts become known.
The OpenAI firings: an early test of independence
While the pledges were being made, another event took place that may become a test of the entire arrangement. OpenAI last week fired three employees for "violating our policies on accessing and handling sensitive company information," according to a spokesperson. Two of those dismissed, Mikita Balesni and Tomek Korbak, have said they believe they were fired because of the way they communicated with third-party evaluators, according to their own posts on X as reported by CNBC (CNBC).
OpenAI rejects that account. A spokesperson told TechCrunch that the three were fired after an investigation uncovered a "pattern of misconduct" in "clear violation of our policies of mishandling research information," and that this goes beyond sharing information with an external AI evaluation group. The company has not specified which policies were violated (TechCrunch).
The two accounts cannot be reconciled from the available source material, and this article does not assume either is correct. But for the evaluation question, it is almost irrelevant who is right: the case shows that an employee's contact with external evaluators can become the center of a dismissal dispute, without the rules for such contacts being clear. Balesni and Korbak write together with Jasmine Wang in an open letter: "Given the significant safety concerns surrounding the development of AI, employees must not be left working in an environment where fear and unclear rules stymie AI safety work and weaken third-party accountability." They also warn that dismissals like theirs, "executed and communicated so abruptly," chill the open culture OpenAI has prized (TechCrunch).
If lab employees risk dismissal for passing information to evaluators, the evaluators' actual access becomes decisive — and that is decided by the contracts OpenAI now says it is finalizing. An open exchange about what is permitted does not yet exist.
Follow the money: from $13.6 million to over $100 million
However the disputes are resolved, the money is on its way. Two figures illustrate the scale.
Vals AI, a commercial evaluation company, has according to its CEO Rayan Krishnan grown from eight employees to around 30 this year, and announced in August a funding round of $40 million, according to reporting in Market Briefs (Briefs).
METR, a nonprofit organization, said in August that it had secured around $71 million in pledges over six months — compared with a total of $13.6 million in contributions for all of 2024, according to the organization's latest IRS reporting. METR says it declined payment for the work in question (Briefs).
It is worth being precise about what the figures are: these are company and organizational statements relayed through secondary sources, not publicly audited accounts. And in METR's case, it has not been stated whether the roughly $71 million comes from sources independent of the AI labs — exactly what is central to the funding-conflict question. The organization's statement that it declined payment for one specific assignment says nothing about its overall funding structure.
Andrew Freedman, who leads the policy think tank Fathom, expects an "influx of capital" into the ecosystem. "I've worked in politics and policy for the last 20 years of my life, and I've never seen an issue move so fast on so many different political spectrums," he says (Briefs).
The independence problem: who pays the judge?
All the figures above point to the same structural problem, which Suresh Venkatasubramanian, a professor of computer science at Brown University, has put into words. "To a degree, the problem, as always, is money," he told CNBC. "Who is paying for these companies to do their work? How are they going to support them? You need an ecosystem, you need a viable business model for this" (CNBC).
And: "If you want true third-party evaluation, you need true independence financially and otherwise," he says (Briefs).
The math is simple: if the labs are the natural payers — because they are the only ones with the models the evaluation concerns, and because the accord urges them, not the public, to procure evaluators — then the industry faces a principle-versus-practice dilemma. A nonprofit like METR can decline payment in individual cases, but $71 million has to come from somewhere. A commercial company like Vals AI needs customers, and the natural customers are precisely the labs. None of the sources point to any public funding scheme that could break this dependency.
There are known models for this in other industries — the audit industry's long history of independence problems is the most obvious parallel, where the client paying for the audit is also the one being scrutinized. But the audit industry has legislation, public reporting requirements, and oversight bodies. AI evaluation has, as of now, none of these: the Brookings analysis states that the accord requires neither publication nor handover to public agencies (Brookings).
What to watch
The coming weeks offer three concrete benchmarks for whether the arrangement becomes real independence or a symbol:
The contracts OpenAI announces. The company says details will come in the coming weeks. What matters is not that contracts are signed but the terms: who pays, what access evaluators get to models and internal information, whether they can publish findings without prior approval, and whether they can speak when they find something serious. If the contracts are kept secret, the accord's weakness is repeated at the contract level.
Where METR's $71 million comes from. If the pledges to a significant degree come from AI labs or from donors closely tied to them, financial independence — in Venkatasubramanian's sense — remains unfulfilled, however large the sums. If they come from foundations or public sources independent of the industry, that changes the basis.
Whether the accord gets teeth. The Brookings critique points out that without requirements for reporting and publication, evaluation remains voluntary in practice. Any move in that direction — legislation, regulation, or voluntary add-ons with reporting obligations — would be more structurally significant than more funding rounds.
In the meantime, the OpenAI firings are a reminder that independence is not only about money, but about access and culture: an evaluator without information flow from employees willing to speak has little to evaluate. Whether the dismissed researchers were right, or whether OpenAI's account of a broader pattern of misconduct holds, is unresolved. But the case shows that the question of whom the AI judges owe their loyalty — the employer that pays, or the public that needs the scrutiny — is now being decided in practice, through contracts and dismissals, long before it is answered in principle.