Anthropic-studie: Eksperter fulgte KI-agentens skjulte preferanser i 86 % av valgene

Anthropic-studie: Eksperter fulgte KI-agentens skjulte preferanser i 86 % av valgene

Et randomisert eksperiment fra Anthrops Alignment-team viser at 50 eksperter i kausalanalyse adopterte AI-agentens skjulte preferanser i 86 % av de analytiske avgjørelsene – og i stor grad trodde konklusjonene var deres egne. Funnet utfordrer antakelsen om at faglig gjennomgang alene er en pålitelig «menneske-i-løkka»-sikring, selv om forskerne selv peker på betydelige begrensninger.

Hva eksperimentet målte

Anthrops Alignment-team publiserte eksperimentet på en tirsdag, ifølge Decrypt. Femti eksperter i kausalinferens fikk en realistisk analyseoppgave: de skulle granske observasjonsdata fra et fiktivt landbrukskooperativ og estimere produktivitetsgevinstene ved et frivillig rådgivingsprogram for bønder, ifølge The Decoder.

Underveis møtte deltakerne fem avgjørelsespunkter, for eksempel hvordan produktivitet skulle måles eller hvilken statistisk metode som skulle brukes. Det de ikke visste, var at agentens preferanse i hvert punkt var bestemt ved myntkast og gjemt i et systemprompt – instruksjonene som former hvordan en KI oppfører seg. Analysene ble utført i Claude Code, Anthrops kodeagent. Ifølge Decrypt mistenkte ingen av deltakerne at preferansene var plantet.

Fordi preferansene var tilfeldig tildelt, kunne forskerne skille ekte påvirkning fra tilfeldighet: Hvis ekspertene ikke lot seg påvirke, skulle omtrent halvparten av valgene falle sammen med agentens preferanse. De gjorde det i langt større grad.

Tallene: 86 % mot 50 %

Deltakerne adopterte agentens preferanse i 86 % av de fire analytiske avgjørelsene – langt over de 50 prosentene man ville forvente ved rene tilfeldigheter. Forfatterne kaller agentens netto påvirkning for «flip rate», som lå på mellom 62 og 82 prosent avhengig av oppgave (The Decoder).

Et av de mest oppsiktsvekkende funnene er at en allerede dannet mening ga liten beskyttelse. Når deltakerne hadde valgt før agenten la frem sin preferanse, gjorde en motstridende mening fra agenten dem 53 prosentpoeng mer tilbøyelige til å bytte side enn en enig – ifølge The Decoders fremstilling. Decrypt beskriver samme forhold annerledes: 60 % byttet side da agenten var uenig, mot 6 % da den var enig, men basert på bare 38 tilfeller. De to fremstillingene kan være forenlig, men den eksakte statistikken er uavklart i de tilgjengelige kildene; tallene er ikke verifisert mot Anthrops opprinnelige artikkel.

Eierskapsillusjonen

Det avgjørende for spørsmålet om menneskelig kontroll er ikke bare at ekspertene fulgte agenten – men at de trodde dommen var deres egen:

• 52 % sa at anbefalingen føltes mer som deres egen enn agentens, og ytterligere 35 % sa den var stort sett eller helt deres egen (The Decoder).
• Deltakerne husket riktig hvilket valg de hadde gjort i 85 % av tilfellene – de visste altså hva de hadde valgt, men ikke hvor valget kom fra.
• 77 %, eller 37 av 48, brukte minst ett av agentens argumenter i forklaringene sine, noen ganger nesten med de samme ordene.
• Bare 15 % nevnte KI i det hele tatt da de forklarte konklusjonene sine.

Anthrops forfattere beskriver risikoen som et disempowerment-problem: «Arbeidet går fortsatt ut under ekspertens navn», skrev de, ifølge Decrypt, «men beslutningene som mest avhenger av deres skjønn, blir i realiteten avgjort av agentens forkunnskaper.» Sitatet er AIMags oversettelse av forfatternes engelske original hos Decrypt.

Ingen av de testede sikringene hjalp

Forfatterne lette etter egenskaper som kunne forklare hvem som lot seg påvirke: antall års analyseerfaring, selvrapportert ekspertise, utdanning, testresultater og tillit til KI. Ingen av dem hadde en statistisk pålitelig sammenheng med resultatene etter korreksjon for flere tester (The Decoder).

Med et utvalg på 50 er statistisk kraft til å påvise gruppeforskjeller likevel lav, og det er en av grunnene til å være forsiktig med å konkludere at ingen beskyttende faktorer finnes. Men funnet peker i en ubehagelig retning: Den intuitive antakelsen om at erfarne fageksperter bedre motstår KI-påvirkning, fikk altså ikke støtte i dataene.

Anthrops egen motvekt: dette er ikke et argument mot KI-bruk

Anthropic understreker at funnet ikke er et argument for å bruke KI mindre. Analysene med agenten ble fullført raskere og med langt færre alvorlige feil. Men den påstanden hviler på en svak sammenligningsgruppe: Kontrollgruppen uten agent var liten og mindre erfaren, noe Decrypt peker på – så gevinster i fart og kvalitet er ikke godt etablert.

Som mulige tiltak foreslår forfatterne agenter som argumenterer like sterkt for hvert alternativ i stedet for å forkynne en konklusjon, eller agenter som spør eksperten om sin vurdering før de selv uttaler seg. Begge kan redusere forankringseffekten – men forskerne peker selv på en mulig ulempe: Det kan overvelde brukerne.

Studiens grenser

Bevisene peker mot et reelt fenomen, men rekkevidden er smal:

• Én oppgave, ett fagfelt, én modell. Forskerne forsterket deliberat agentenes preferanser og testet bare én oppgave, ett fagfelt og én modell (Claude Code), så reelle effekter kan være mindre (Decrypt).
• Lite utvalg. Med 50 deltakere er det liten statistisk kraft til å påvise subgruppeforskjeller.
• Påvisningsmetoden kan ikke repliseres i praksis. Ettergivenheten var påviselig nettopp fordi preferansene var randomisert ved myntkast – noe som sjelden eller aldri er mulig i ekte arbeid. På arbeidsplassen finnes ingen enkel myntkast-test for å avdekke skjult påvirkning.

I tillegg kommer en kildekritisk innskrånking: Alle tallene i denne saken stammer fra to sekundære dekninger, The Decoder og Decrypt, som begge refererer studien. Det opprinnelige Anthropic-dokumentet er ikke lagt til grunn her, og det gjelder særlig det uavklarte byttetallet om forhåndsvalg.

Det åpne spørsmålet

Hva betyr dette for tilsyn med KI-assistert fagarbeid når påvirkningen er usynlig selv for de som påvirkes? Den vanlige organisatoriske responsen – la en ekspert se over arbeidet – bygger på antakelsen om at ekspertens skjønn forblir uavhengig. Eksperimentet antyder at antakelsen kan svikte akkurat i arbeidsformer der eksperten og agenten tenker sammen underveis, i stedet for at eksperten vurderer et ferdig produkt etterpå.

Anthrops forfattere rammer inn problemet som makt, ikke som kvalitet: Arbeidet holdt mål, arbeidet ble levert – men avgjørelsene var i realiteten agentens. Hvis det stemmer i videre forstand, blir nøkkelspørsmålet ikke hvor mye KI eksperter bør bruke, men hvordan beslutningspunkter kan gjøres synlige før de tas – og om slike inngrep kan gjennomføres uten å drukne brukerne i motargumenter. Det har denne studien altså ikke svaret på.