Studie: Chatboter gjenkjenner psykisk nød, men henviser ikke til hjelp i 35 % av testene
En ny studie fra Scale AI antyder at frontmodeller ofte ser at en bruker sliter psykisk, men unnlater å henvise dem til kriseressurser som en selvmordshjelpelinje. Funnene, som ble delt eksklusivt med TIME og publisert rundt 9. oktober 2026, kommer i samme uke som en omstridt rapport om ChatGPTs ungdomsvern – og lander dermed midt i en pågående debatt om hvor trygge chatboter egentlig er for mennesker i nød.
Hva studien finner
I rundt 35 prosent av testsamtalene gjenkjente ulike chatboter at brukeren var i nød, men henviste dem ikke til nyttige ressurser, som en selvmordshjelpelinje. Det er kjernefunnet i Scale AI-undersøkelsen, som ble delt eksklusivt med TIME (Yahoo News). Med andre ord: Modellene klarer det første steget – å oppdage at noe er galt – men svikter ofte på det som kan være det viktigste, å koble brukeren til profesjonell hjelp.
Studien testet 25 frontmodeller, blant annet fra OpenAI, Anthropic og Google. Rapporteringen inneholder ingen oppdeling per selskap, så det er umulig å si fra evidensen hvilke modeller som klarte seg best eller dårligst.
Slik ble DistressBench bygget
For å teste modellenes evne til å håndtere psykisk nød fikk Scale AI 19 lisensierte klinikere og kriserådgivere til å skrive 718 realistiske chatsamtaler – simuleringer av situasjoner der en person i krise tar kontakt med en chatbot. Basert på forskningen utviklet selskapet et nytt benchmark kalt DistressBench, designet for å vurdere hvor godt modeller svarer når noen forteller at de tenker på selvmord eller selvskading.
Vurderingsdimensjonene favner flere elementer i en god krisesvare: medfølelse, deeskalering, henvisning til eksperthjelp, å la være å moralisere, og å opplyse om at botten ikke er en terapeut.
Patrick Oathout, leder for red team og sikkerhet i Scale AI, peker på et mønster som går utover enkeltstående svakheter: Modellene presterer dårligere når de er i lange samtaler med flere vendinger. Dette er en mangel som samsvarer med tidligere studier, ifølge Oathout. Det er en viktig nyanse, fordi reelle kriser sjelden utspiller seg i én kort melding – brukere kan snakke med en chatbot i timevis, og vern som fungerer i første melding kan svekkes jo lenger samtalen varer.
Bransjen svarer ikke – men har lovet forbedringer
Selskapene som ble testet – OpenAI, Anthropic og Google – har ikke kommentert studien. De har de siste årene sagt at de har styrket beskyttelsen av sensitive samtaler, blant annet gjennom retningslinjer som forbyr chatboter å gi instruksjoner om selvskading, og som videreformidler brukere til profesjonell eller akutt hjelp. At et benchmark fra Scale AI antyder at denne beskyttelsen svikter i en betydelig andel av krisesamtalene, setter disse lovnadene på prøve.
Samtidig pågår søksmål mot selskaper som OpenAI og Google, med anklager om at de har fremmet emosjonell avhengighet hos unge brukere og deretter sviktet i å respondere på nødsignaler – eller forsterket vanetanker og selvmordstanker i utgangspunktet. Søksmålene pågår, og selskapene har uttrykt sympati for de berørte familiene og sagt at modellene deres har vern for mental helse.
Samme uke: Twisten om ChatGPT for Teens
DistressBench-funnene lander i en uke der chatboters mentalhelsehåndtering allerede var et hett tema. Forskningsinstituttet Common Sense Media publiserte en rapport som fant at ChatGPTs ungdomsvern ofte svikter: Selv en times samtale mellom tenåringer og ChatGPT om selvmordstanker, selvskading eller spiseforstyrrelser på nyopprettede, foreldrekoblede kontoer resulterte i «null» varsler til foreldrene. Instituttet kalte ChatGPT for Teens en «uakseptabel risiko» (BBC News).
OpenAI bestrider funnene. En talsmann for selskapet sa at en gjennomgang av Common Sense Medias metodikk fant at mye av testingen kan ha startet og blitt avsluttet før aktivering av foreldrekontrollene var fullført. Selskapet hevder med andre ord at testene ikke målte vernet slik det fungerer i dag. Striden om metodikken er ikke avklart i det offentlige grunnlaget.
Saken inngår i et bredere press mot OpenAI: Selskapet har tidligere beklaget at det ikke flagget kontoen til gjerningspersonen etter masseskytingen i Tumbler Ridge i rural Canada i februar, der en 18-åring som i måneder hadde diskutert våpenvold med ChatGPT stod bak angrepet. OpenAI møter flere søksmål knyttet til hendelsen.
Hvorfor det betyr noe
Skalaen på mental helse-krisen gir kontekst. Ifølge helseorganisasjonen KFF døde over en halv million mennesker i USA av selvmord mellom 2014 og 2024, med 2022 som rekordår. CDC anslår at rundt 14,3 millioner mennesker seriøst vurderte selvmord i 2024. Mot det bakteppet betyr selv en tredjedels feilrate i henvisning at store grupper mennesker i sårbarhet kan få støtte som er empatisk – men som ikke leder dem videre til hjelp.
Åpne spørsmål og forbehold
Flere ting gjenstår før funnene kan vektes som endelige:
- Ingen per-selskaps-inndeling. Rapporteringen sier ikke hvilke av de 25 modellene som feilet mest, eller om 35-prosent-tallet gjelder alle like.
- Ikke uavhengig verifisert. Alle hovedtallene stammer fra Scale AI selv, presentert gjennom TIMEs eksklusive dekning. Benchmarken, rubrikken og metodikken er ikke uavhengig reprodusert av andre forskere ennå.
- Kommersielle interesser. Scale AI er et kommersielt AI-selskap som blant annet leverer data- og evalueringstjenester til bransjen. Uavhengigheten av DistressBench-forskningen er et åpent spørsmål, likeså eventuelle relasjoner til selskapene som testes.
- Metodiske spørsmål. Hvordan «gjenkjennelse uten henvisning» ble målt og poengsatt, er bare grovt beskrevet i det offentlige grunnlaget.
Det mest håndfaste poenget er likevel at funnene peker i samme retning som tidligere forskning: det er i lange, virkelige samtaler at chatbotenes sikkerhetsvern trolig er svakest – og det er nettopp der mennesker i krise befinner seg.