Anthropic blokkerte 35 forsøk på å bruke Claude til risikofylt biologisk forskning

Anthropic blokkerte 35 forsøk på å bruke Claude til risikofylt biologisk forskning

Selskapet kunne ikke fastslå om forskningen var legitim eller ondsinnet – men stengte likevel tilgangen, blant annet etter en søknad om gain-of-function-studie av chikungunya knyttet til et militært forskningsinstitutt.

Anthropic identifiserte 35 forsøk på å bruke AI-modellen Claude til å fremskynde risikofylt biologisk forskning i løpet av en 30-dagers vurderingsperiode, ifølge selskapets trusselrapport, slik den er gjengitt av Mindstream. Rapporten ble kunngjort torsdag, ifølge The New York Times, og lander midt i en bølge av AI-risikoadvarsler – inkludert en lørdagsoppfordring fra Anthropics egen grunnlegger Dario Amodei om å bremse utviklingen.

Chikungunya-tilfellet

Ett av tilfellene involverte en forsker som ba Claude om hjelp til å skrive en søknad om gain-of-function-forskning på chikungunya-viruset, en myggbåren sykdom som kan gi måneder med sterke smerter, som rapportert av The New York Times. Forskningen var ment knyttet til et militært forskningsinstitutt.

Jacob Klein, Anthropics sjef for trusselintelligens, sa ifølge NYT at selskapet ikke visste om forskningen var ment brukt til bevæpning, men fant kombinasjonen av militært institutt og gain-of-function-forskning bekymringsfull.

Hva rapporten ellers viser

Rapportens fem case-studier omhandlet henvendelser om fugleinfluensa, gift, toksiner, transmissibilitet og immunflukt, ifølge Mindstream. Brukerne omgikk stedbaserte restriksjoner og ga Claude feilaktige opplysninger om forskningsmålene for å unngå plattformens begrensninger.

Rapporten dokumenterte også forsøk på å bruke systemet til å utvikle programvare for konvensjonelle våpensystemer – skytevåpen, missiler, væpnede droner og bomber – med tre tilfeller i Kina, to i Russland og ett i Jemen, ifølge NYT. Landtallene gjelder våpensystemtilfellene, ikke biotilfellene, der ingen identiteter, institusjoner eller land ble offentliggjort.

Usikker hensikt, likevel blokkert

Anthropic erkjenner at selskapet ikke kunne fastslå om noe av forskningen var legitim eller ondsinnet, men stengte den ned på grunn av de potensielt alvorlige konsekvensene, ifølge NYT. Tilkoblede kontoer ble utestengt. Tallet 35 gjelder identifiserte forsøk i en 30-dagers periode, ikke bekreftede biovåpenaktører, og antall blokkerte kontoer er ikke avstemt mot antall forsøk i dekningen.

Hvorfor nå

Anthropic skriver selv at eldre modeller, da de ble evaluert i fjor, ikke var i stand til å gi meningsfull bistand til farlig biologisk forskning – men at dagens modeller er vesentlig mer kapable til komplisert vitenskapelig arbeid. Det er bakgrunnen for de skjerpede sikkerhetstiltakene, ifølge selskapet.

Den tidligere CDC-direktøren Susan Monarez advarte, etter å ha gjennomgått funnene, at avansert AI øker mulighetene for å «la onde aktører gjemme seg i åpenlyset, ved å bruke tilsynelatende legitim forskning til å skape patogener vi kanskje ikke ser komme, og som vi kanskje ikke kan stoppe når de er sluppet løs», sitert via Mindstream.

Amodei fulgte opp lørdagen etter med et innlegg der han skrev at det ville være klokt å forby «å bruke AI til produksjon av biologiske våpen eller la brukere gjøre det», sitert av The New York Times.

Ekspertenes varsomme vurdering

Ifølge NYT er dagens chatboter etter ekspertvurdering neppe i stand til å hjelpe enkeltpersoner å konstruere et dødelig patogen. Men nyere modeller trent på biologi kan kreve sterkere sikkerhetstiltak, heter det i samme analyse.

Mange spørsmål står fortsatt åpent: hvem de flaggete brukerne var, hvilke institusjoner og land de tilhørte, og hvor mange kontoer som faktisk ble utestengt, er ikke offentliggjort. Anthropics primærrapport er ikke tilgjengelig i det tilgjengelige kildematerialet – alle funnene ovenfor er basert på sekundærdekning i The New York Times og Mindstream.