Google lanserer Deep Review: fant feil i 35 prosent av ICML-artikler, ifølge selskapet
Systemet har et år med konferansepiloter bak seg, men tallene om feilgjenkjenning kommer fra Google selv – og uavhengig evaluering mangler fortsatt.
Google annonserte 14. oktober 2026 den offentlige utgivelsen av Deep Review, et agentbasert AI-system som gir grundig tilbakemelding og teknisk verifisering på komplekse dokumenter. Bak lanseringen ligger et år med lukkede piloter under navnet Paper Assistant Tool, der over 16 000 manuskripter fra fire store informatikk-konferanser ble analysert på forfatternes eget initiativ. Nå åpnes verktøyet for alle – og det er ikke lenger begrenset til akademiske artikler.
Fra konferanse-pilot til offentlig verktøy
Ifølge Google Research-bloggen har selskapet det siste året samarbeidet med fire ledende konferanser i informatikk – STOC 2026, ICML 2026, NeurIPS 2026 og ICLR 2027 – om å gi privat tilbakemelding før innsending til over 16 000 manuskripter der forfatterne hadde valgt det selv. Piloten opererte helt utenfor den offisielle fagfellevurderingen: Forfatterne kunne melde seg på og få tilbakemelding privat i ukene før innsendingsfristene, ifølge sekundær dekning av Googles Research@ 2026-arrangement.
I den offentlige versjonen er rekkevidden utvidet. Systemet, som opprinnelig ble designet for analyse av akademiske artikler i informatikk, skal ifølge Google nå kunne gjennomgå dokumenter på tvers av mange domener, som juridiske tekster og finans – og det skal kunne brukes både under skriving og gjennomgang, inkludert Google Docs og presentasjoner. Dette er selskapets egne påstander; ingen uavhengig testing av de nye domenekapasitetene foreligger i det tilgjengelige grunnlaget.
Hva pilottallene viser – og hva de ikke viser
De mest konkrete resultatene fra piloten er selvrapporterte. Ifølge den sekundære dekningen rapporterte 11,6 prosent av STOC-forfatterne – en kohort av matematisktung teoretisk informatikk – at de hadde funnet substantielle feil som krevde over en time å rette. Blant ICML-forfatterne, der fokus ligger på maskinlæring, steg tallet til 35,4 prosent. Når det gjelder tilfredsheten, oppgir dekningen uten kohortinndeling at 94 prosent av forfatterne beskrev tilbakemeldingen som nyttig, og at 85 prosent rapporterte forbedret klarhet i manuskriptene – tall som stammer fra Google.
Alle disse tallene stammer fra Google og Googles eget manuskript om Paper Assistant Tool. Metodikken bygger på at forfatterne selv rapporterer hvor lang tid en retting tok; ingen uavhengig verifisering av selve feilene er beskrevet. Forskjellen mellom STOC og ICML kan likevel være reell og interessant: Jo mer beregnings- og eksperimenttung artikkelen er, desto flere feil tyder tallene på at et agentbasert system kan fange – men det er en tolkning, ikke et dokumentert funn.
Konteksten: pressede konferanser og integritetsproblemer
Google presenterer lanseringen med en vekstkurve for konferansene: Over 74 000 innsendinger til ICLR, NeurIPS og ICML i år, opp fra omtrent 45 000 i 2025, 32 000 i 2024 og 23 000 i 2023 – ifølge Google selv, uten uavhengig revisjon i det tilgjengelige grunnlaget.
Den bredere integritetsbakgrunnen er tyngre. Den sekundære rapporten peker på 21 prosent AI-genererte fagfellevurderinger ved ICLR 2026, og ved ICML 2026 at 398 anmeldere ble tatt for å bruke store språkmodeller til å skrive vurderinger, med 497 avviste artikler som konsekvens. Metodikken bak disse deteksjonstallene er ikke beskrevet i det tilgjengelige materialet. Det er verdt å merke seg at Deep Review ikke har vært del av den offisielle fagfellevurderingen i noen av pilotene, og ingenting i kildene tyder på at konferansene selv har tatt systemet i bruk.
Slik får man tilgang
Ifølge Google får alle brukere to gratis dokumentgjennomganger per uke. Brukere med store volumer kan koble til sin egen Gemini API-nøkkel for høyere grenser, og systemet er tilgjengelig programmatisk via et eget Deep Review API. Ved lansering støttes PDF og ren tekst.
Google oppgir videre at opplastede dokumenter ikke brukes til å trene selskapets modeller, og at de lagres i ett år. Dette er selskapets egne personvernvilkår, ikke forhold som er uavhengig etterprøvd.
Åpne spørsmål
Flere sentrale punkter forblir uavklart. Beskrivelsen av systemets indre pipeline – omtalt som en firetrinns agentarkitektur – er bare delvis verifiserbar fra primærkilden, som bryter av midt i gjennomgangen; segmentering og adaptiv budsjettering er trinn som lar seg bekrefte, resten ikke. Det finnes ingen uavhengig evaluering av hvor nøyaktig Deep Review er, verken på akademiske tekster eller de nye domenene innen juss og finans. Prising utover den gratis kontingenten er ikke oppgitt. Og spørsmålet om hvorvidt konferansene selv vil ta slike systemer i bruk i den offisielle vurderingen – eller om forfatterne bare skal bruke dem privat – er fortsatt åpent.
Det som derimot står igjen etter et år med piloter er et konkret skifte: verifiseringsverktøy som tidligere bare var tilgjengelig for et lite utvalg konferanseforfattere, er nå generelt tilgjengelige – med alle de metodiske forbehold som følger med tallmaterialet så langt.
Google launches Deep Review: found errors in 35 percent of ICML papers, according to the company
The system has a year of conference pilots behind it, but the error-detection figures come from Google itself – and independent evaluation is still lacking.
Google announced on October 14, 2026 the public release of Deep Review, an agentic AI system that provides thorough feedback and technical verification on complex documents. Behind the launch lies a year of closed pilots under the name Paper Assistant Tool, in which more than 16,000 manuscripts from four major computer science conferences were analyzed at the authors' own initiative. The tool is now being opened to everyone – and it is no longer limited to academic papers.
From conference pilot to public tool
According to the Google Research blog, the company has over the past year collaborated with four flagship computer science conferences – STOC 2026, ICML 2026, NeurIPS 2026 and ICLR 2027 – to provide private pre-submission feedback on more than 16,000 manuscripts where the authors had opted in. The pilot operated entirely outside the official peer review process: authors could sign up and receive feedback privately in the weeks before submission deadlines, according to secondary coverage of Google's Research@ 2026 event.
In the public version, the scope has been expanded. The system, which was originally designed to analyze academic computer science papers, is claimed by Google to now be able to review documents across many domains, such as legal texts and finance – and it can reportedly be used both during writing and review, including Google Docs and presentations. These are the company's own claims; no independent testing of the new domain capabilities exists in the available evidence base.
What the pilot figures show – and what they don't
The most concrete results from the pilot are self-reported. According to the secondary coverage, 11.6 percent of STOC authors – a cohort from math-heavy theoretical computer science – reported that they had found substantial errors that took more than an hour to fix. Among ICML authors, where the focus is machine learning, the figure rose to 35.4 percent. On satisfaction, the coverage reports figures without cohort breakdown: 94 percent of authors described the feedback as helpful, and 85 percent reported improved clarity in their manuscripts – figures that originate from Google.
All of these figures come from Google and Google's own manuscript about the Paper Assistant Tool. The methodology rests on authors themselves reporting how long a fix took; no independent verification of the errors themselves is described. The difference between STOC and ICML may nonetheless be real and interesting: the more computationally and experimentally heavy the paper, the more errors the figures suggest an agentic system can catch – but that is an interpretation, not a documented finding.
The context: strained conferences and integrity problems
Google frames the launch with a growth curve for the conferences: more than 74,000 submissions to ICLR, NeurIPS and ICML this year, up from roughly 45,000 in 2025, 32,000 in 2024 and 23,000 in 2023 – according to Google itself, with no independent audit in the available evidence base.
The broader integrity backdrop is heavier. The secondary report points to 21 percent AI-generated peer reviews at ICLR 2026, and at ICML 2026 that 398 reviewers were caught using large language models to write reviews, with 497 rejected papers as a consequence. The methodology behind these detection figures is not described in the available material. It is worth noting that Deep Review has not been part of the official peer review in any of the pilots, and nothing in the sources suggests that the conferences themselves have adopted the system.
How to get access
According to Google, all users get two free document reviews per week. Users with large volumes can connect their own Gemini API key for higher limits, and the system is available programmatically via a dedicated Deep Review API. At launch, PDF and plain text are supported.
Google further states that uploaded documents are not used to train the company's models, and that they are stored for one year. These are the company's own privacy terms, not independently verified facts.
Open questions
Several key points remain unresolved. The description of the system's internal pipeline – referred to as a four-stage agent architecture – is only partially verifiable from the primary source, which breaks off mid-review; segmentation and adaptive budgeting are stages that can be confirmed, the rest cannot. There is no independent evaluation of how accurate Deep Review is, whether on academic texts or the new legal and finance domains. Pricing beyond the free tier has not been stated. And the question of whether the conferences themselves will adopt such systems in official review – or whether authors will simply use them privately – remains open.
What does remain after a year of pilots is a concrete shift: verification tools that were previously available only to a small group of conference authors are now generally available – with all the methodological caveats that come with the figures produced so far.
Sources: Google Research blog (37bbb300), secondary coverage of Research@ 2026 (9d286939)