Fra 75 til 56 prosent: Færre bedrifter lar KI-agenter styre produksjonsendringer på automatiske tester alene
Andelen bedrifter som tillater – eller bygger mot – at autonome KI-agenter endrer produksjonssystemer basert utelukkende på automatiske evalueringer, falt fra 75 prosent i juli til 56 prosent i august, ifølge VentureBeat Intelligences VB Pulse-undersøkelse. I samme periode doblet andelen som krever menneskelig gjennomgang av agentendringer seg, fra 20 til 42 prosent. Tallene tyder på at den automatiske evalueringspipelinen – teknikkens svar på spørsmålet «kan vi stole på agenten?» – mister status som siste garanti i bedriftenes utrullingspraksis.
Skiftet i tall
Undersøkelsen ble gjennomført blant respondenter i organisasjoner med minst 100 ansatte. Blant dem som rapporterer at organisasjonen deres kjører autonome KI-agenter, var basene 96 respondenter i juli og 118 i august, med ett svar fra hver.
I juli sa 75 prosent av denne gruppen at de enten allerede lar en agent presse endringer til produksjon på automatiske evalueringsresultater alene, eller at de byger mot det. I august var samme svarandel falt til 56 prosent. Samtidig steg andelen som forventer å ha en menneskelig gjennomgang av agentenes produksjonsendringer «i overskuelig fremtid», fra 20 til 42 prosent på én måned, rapporterer VentureBeat Intelligence.
De 56 prosentene i august er ikke et totalstans-bilde. De deler seg i to grupper: 32 prosent tillater det allerede for spesifikke lavrisikoagenter eller -endringer, og 24 prosent bygger pipelines for å tillate det innen 12 måneder. Forsiktigheten gir altså ofte smalere unntak og trangere risikoklasser, ikke en stoppekrok for hele agentprogrammet.
Hvorfor tilliten til evaleringene svikter
Undersøkelsen peker på et konkret problem: evaleringene slipper gjennom feil som kundene merker. Blant augustrespondentene som kjører evalueringer før utrulling – man ser bort fra de 5 prosentene som ikke kjører slike evalueringer i det hele tatt – rapporterte 61 prosent minst én kunderettet feil i løpet av de siste tolv månedene som hadde passert evaleringene.
Tilliten til verktøyet som skulle fange slike feil, er beskjeden. Da respondentene ble spurt om hvilken begrensning som mest reduserer tilliten deres til automatisert evalering, valgte bare 9 prosent svaret om at de stoler på automatisert evalering slik det fungerer i dag. Resten pekte på en begrensning.
Et annet tall belyser hullet mellom pre-deployment-tester og produksjonsvirkelighet: bare 29 prosent sier at produksjonsovervåkingen deres er bygget rundt sanntids automatiserte kvalitetskontroller – altså mekanismer som sjekker om agentens arbeid faktisk er korrekt mens det skjer. For 53 prosent er hovedtilnærmingen trace-logging eller gateway-sporing, som ifølge VentureBeats formulering ikke er ordlagt som korrekthetskontroll. Med andre ord: de fleste kan se hva agenten gjorde, men få har et system som kan avsløre at det var feil.
En viktig forbehold: ingen fastslått årsak
Skiftet fra juli til august er fristende å forklare med feilerfaringene – «61 prosent så evaleringsslippende feil, derfor doblet de kravet om menneskelig gjennomgang». Men undersøkelsen selv støtter ikke den koblingen. Blant organisasjonene som kjører autonome agenter, var andelen som tillater ugjennomgåtte pushes – eller bygger mot dem – «for lik til å konkludere» mellom respondenter som hadde rapportert en evaleringsslippende feil og de som ikke hadde det.
Det betyr at feilerfaring ikke skiller tillaterne fra ikke-tillaterne i datamaterialet. Hvorfor tilliten falt på nøyaktig én måned, er ikke fastslått. Enhver årsaksforklaring – markedsnyheter, hendelser i eget drift, endret risikoforståelse – er analyse, ikke dokumentert faktum.
Det er også verdt å holde fast ved hva datagrunnlaget er: 96 og 118 selvrapporterte respondenter i to månedsmålinger, uten at det statistiske grunnlaget for månedssammenligningen er offentliggjort, og uten uavhengig verifisering av om organisasjonene faktisk lar agentene slippe til eller ikke.
Mønsteret i praksis: mennesket som skrivevern
Illustrasjonen på hva bedriftene faktisk setter opp, kommer fra en annen type kilde. Brian King og Richard Mendis beskriver i et førstepersons-innlegg på VentureBeat – en leverandørkonto om eget produkt – hvordan deres ServiceNow-baserte digitale medarbeider håndterer risikoen: en menneske gjennomgår og godkjenner enhver skriveoperasjon før den utføres (VentureBeat). Det er nøyaktig mønsteret den doblede 42-prosentandelen i undersøkelsen peker mot: agenten får arbeide, men alt som endrer tilstand går gjennom et menneske først.
Utsagnet er altså selskapets egen beskrivelse av eget produkt, ikke dokumentasjon av undersøkelsens funn. Men det viser hvordan menneskelig gjennomgang ser ut som konkret arkitektur, ikke som generell skepsis.
Hvorfor automatiske sjekker ikke fanger alt
Hvorfor greier evaleringene ikke å fange feilene? Undersøkelsen rapporterer at de slipper gjennom, men ikke mekanismen. En annenhånds anekdote fra Android Police peker imidlertid mot et velkjent problem: en utvikler gransket 20 AI-genererte apper i Play Store og bekreftet sikkerhetsproblemer i syv av dem. Fire av appene inneholdt hemmeligheter i utgivelsespakken, blant annet en privat Google Cloud-nøkkel og .env-filer pakket med KI-leverandørnøkler som «ved et uhell» hadde havnet der (Android Police).
Også dette er en anekdote, ikke bevis for undersøkelsens funn – én utviklers utvalg, formidlet i annen hånd. Men den illustrerer kategorien av feil automatiserte tester lett overser: ikke feil funksjonalitet som tester kan avsløre, men ting som ser ut til å fungere, og som først går galt i møte med den virkelige verden – akkurat der kundene er. Undersøkelsen alene kan ikke fastslå at dette er årsaken til bedriftenes erfaringer; den antyder bare hvorfor «evaleringen sa ja» og «kunden opplevde feil» kan forene seg i samme organisasjon.
Plattformbildet: mer evalering, samtidig mer gjennomgang
Paradoksalt nok øker bedriftenes investering i evalering samtidig som tilliten til å la evaleringene stå alene faller. Blant respondentene som svarte på plattformspørsmålet, oppga 59 prosent i august at organisasjonen kjører OpenAI Developer Platforms innebygde evaluerings- og traceverktøy, opp fra 31 prosent i juli. Og i alt planla 62 prosent av augustrespondentene å innføre en ny, ekstra eller erstattende evalueringsplattform innen 12 måneder.
Lesingen er ikke at evalering forsvinner, men at rollen endres: fra endelig portvakt til ett av flere signaler. Utviklingen peker mot en modell der automatiske tester filtrerer det åpenbare, produksjonsovervåking bør fange det som sleper gjennom – og et menneske beholder det siste ordet på endringer med konsekvenser.
Hva dette betyr for team som bygger agentpipeliner nå
For team som bygger agentpipeliner i dag, peker tallene mot tre konkrete grep. For det første: forvent at smal risikoklassifisering blir standarden, ikke helt automatisk utrulling – de 32 prosentene som tillater automatiske pushes, gjør det uttrykkelig for «spesifikke lavrisikoagenter eller -endringer». For det andre: planlegg for skjevheten mellom testing og overvåking – med bare 29 prosent på sanntids kvalitetskontroller, er evaleringsslippende feil (som 61 prosent har opplevd) hovedsakelig dekket av trace-logging som oppdager, men ikke kvalitetsvurderer. For det tredje: bygg menneskelig gjennomgang inn som en skriveport i arkitekturen, slik ServiceNow-eksemplet viser, heller enn som en prosessformellitet etterpå.
De åpne spørsmålene
Det er flere ting undersøkelsen ikke kan svare på. Hvorfor falt tilliten på nøyaktig én måned – juli til august – er ukjent, og feilerfaring skiller som nevnt ikke gruppene fra hverandre. Det statistiske grunnlaget for å kalle noen forskjeller reelle og andre «for lik til å konkludere», er ikke offentliggjort. Alt hviler på selvrapportering fra henholdsvis 96 og 118 respondenter i organisasjoner med 100+ ansatte, uten verifisering av den faktiske utrullingspraksisen. Og om August-trenden holder i september, eller var én måneds svingning i et lite utvalg, vet ingen ennå.
Det den nåværende evidensen støtter, er det VentureBeat Intelligences egne tall viser: på én måned gikk bedriftenes svar fra å behandle den automatiske evaleringen som endelig kontroll, til å behandle den som et mellomsteg – og andelen som vil ha et menneske som siste sjekk, doblet seg.