Fire AI-selskaper samtykker i felles opt-out mot AI-scraping i robots.txt

Fire AI-selskaper samtykker i felles opt-out mot AI-scraping i robots.txt

OpenAI, Google, Microsoft og Anthropic sier de vil innføre en felles standard som lar forlag si nei til AI-scraping hos alle fire samtidig – via én linje i robots.txt. Men signalet er frivillig, tidslinjene er utydelige, og det gjenstår å se om crawlerne faktisk adlyder.

Fire av de største aktørene innen kunstig intelligens har sagt ja til en felles mekanisme som lar nettutgivere melde seg av AI-scraping på tvers av selskapene – i stedet for å konfigurere preferanser hos hvert selskap hver for seg. Rapporten kom 30. oktober 2026 fra The Verge (Emma Roth), med henvisning til tidligere dekning i Search Engine Roundtable.

For forlag og nettsteder, som i årevis har måttet forholde seg til en voksende flokk av AI-crawlere, kan dette forenkle et arbeid som til nå har krevd egne innstillinger per selskap. Men standarden er et signal, ikke en håndheving – og det er nettopp det hovedspørsmålene handler om.

Hvordan «policy token» fungerer

Det nye signalet kalles «policy token», og plasseringen er bevisst valgt: det skal ligge i nettstedets robots.txt-fil. Denne filen har lenge vært den vanlige måten å fortelle webcrawlere hva de får og ikke får lov til å hente – enten det gjelder søkeindeksering, arkivering eller AI-trening.

Forslaget er fremsatt av Kevin Kelley, teknisk leder for standarder hos Anthropic, gjennom Internet Engineering Task Force (IETF) – internasjonale standardiseringsorganet som utvikler mange av internettens tekniske protokoller.

Fordelen for utgivere er praktisk: med et felles token kan én preferanse gjelde for flere AI-selskaper samtidig, i stedet for at utgiveren må sette opp opt-out individuelt hos hver crawler-operatør. I praksis betyr det at en forlegger kan si «ikke bruk innholdet mitt til AI-trening» én gang, og få signalet tolket av alle selskapene som støtter standarden.

Ulik tidslinje hos de fire selskapene

Ivaretakelsen av signalet er spredt i tid, og tallene er selskapenes egne utsagn – ikke bekreftede datoer:

• Anthropic har allerede innført støtten for signalet.
• OpenAI sier det vil implementere det «i de kommende månedene».
• Google og Microsoft planlegger støtte «neste år».

At forsloget kommer fra Anthropic, og at selskapet også først er ute med implementering, er verdt å merke seg: det er uvanlig at konkurrenter i denne bransjen samtykker i én felles mekanisme for utgiverkontroll.

Microsofts granulære variant

Microsoft skiller seg ut med mer finmaskede kontroller. Selskapet vil gi utgivere mulighet til å si nei til to ting hver for seg: AI-trening og AI-grounding. Grounding er prosessen der en AI-modell pekes mot verifiserte informasjonskilder for å redusere hallusinasjoner – altså noe annet enn den langvarige treningen av selve modellen.

Samtidig legger Microsoft til en garanti som kan gjøre valget lettere for forlag: nettsteder vil fortsatt vises i Bings søkeresultater uansett hvilke preferanser utgiveren har satt. Slik unngår utgivere det dilemmaet som har fulgt robots.txt-baserte blokkeringer lenge – at man risikerer å forsvinne fra søk når man nekter AI-bruk.

Konteksten: en bransje i friksjon med forlagene

Kunngjøringen kommer ikke i et tomrom. Forlag har i en periode kjempet mot en jevn strøm av AI-crawlere som henter innhold fra nettstedene deres og fôrer det inn i AI-modeller. Flere initiativ har allerede forsøkt å gi utgiverne makt tilbake:

• Really Simple Licensing (RSL) er en standard som lar forlag belaste crawlere som besøker nettstedene deres – altså en lisensierings- og kompensasjonsmodell, ikke et nei-tak.
• Cloudflare har innført standardblokkering av AI-crawlere, slik at AI-trafikk stenges ute med mindre utgiveren aktivt tillater det.

Mot dette bakteppet er det nye token-signalet en tredje tilnærming: frivillig opt-out via en eksisterende, v etablert teknisk kanal. Det løser ikke spørsmålet om betaling slik RSL forsøker, og det blokkerer ikke trafikk slik Cloudflare gjør – men det senker terskelen for utgivere som vil signalisere preferanser på tvers av bransjen.

Åpne spørsmål

Det viktigste ubesvarte spørsmålet er hva som skjer hvis en crawler ignorerer signalet. Kildene sier ingenting om teknisk håndhevelse, verkemiddel eller sanksjoner mot selskaper som ikke følger preferansene. Et signal i robots.txt er historisk sett en høflighetskonvensjon, ikke en teknisk barriere – og om de fire selskapene faktisk vil respektere tokenet i praksis, gjenstår å se.

Det gjenstår også teknisk dokumentasjon å innhente: IETF-utkastets nøyaktige ordlyd, eventuelle blogginnlegg fra selskapene og reaksjoner fra forlagsbransjen foreligger foreløpig ikke offentlig i dekningen. Og tidslinjene – «neste år» hos Google og Microsoft, «kommende måneder» hos OpenAI – er påstander fra selskapene selv, uten fastsatte datoer.

Til det kommer et prinsipielt spørsmål: om en felles opt-out-standard i det hele tatt er nok for forlag som ønsker kompensasjon, ikke bare nekt. Der tilbyr RSL en annen modell – betaling for crawling – og de to initiativene kan vise seg å utfylle eller konkurrere med hverandre i tiden fremover.

Foreløpig er det tryggeste man kan si, også det mest konkrete: fire selskaper som vanligvis konkurrerer hardt har enige om én felles måte å la utgivere si nei på. Om nei-et faktisk blir respektert, er neste kapittel.