AI genererte 40 000 potensielle kjemiske stridsmidler på under seks timer – men risikoen er omdiskutert

AI genererte 40 000 potensielle kjemiske stridsmidler på under seks timer – men risikoen er omdiskutert

Samme dag i september 2026 kom to artikler med motstridende konklusjoner: MIT Technology Review advarer om at det aldri har vært enklere å designe farlige patogener, mens WIRED siterer forskere som mener risikoen – særlig for at en selvstendig AI tar i bruk biologiske våpen – er lav. Uenigheten handler mindre om fakta enn om hvilket scenario man faktisk snakker om.

Debatten er ikke lenger abstrakt. Nylig hevdet Anthropic-sjef Dario Amodei at AI medfører alvorlig risiko og at fremdriften burde bremses. OpenAI-sjef Sam Altman svarte på X at han var enig i at fronten må tempi-reguleres – «we need to pace the frontier» (MIT Technology Review, 18. september 2026). Uken før hadde Anthropic publisert en rapport som innrømmet at folk hadde forsøkt å bruke selskapets modeller til å utforske hvordan chikungunya-viruset kunne gjøres mer smittsomt, og hvordan en form for fugleinfluensa kunne gjøres farligere. Og 18. september 2026 publiserte MIT Technology Review og WIRED begge saker om AI og biologiske våpen – med vesensforskjellige vurderinger.

Én forutsetning bør være tydelig fra starten: 2022-studien fra Collaborations Pharmaceuticals og Anthropics rapport er her kjent bare gjennom de to magasinene sine gjengivelser. De underliggende dokumentene foreligger ikke i det foreliggende grunnlaget.

Hva advarslene bygger på

MIT Technology Review-saken, skrevet av Jessica Hamzelou, tar utgangspunkt i frykten for at AI kan bidra til design, produksjon og spredning av biologiske våpen. Det sentrale beviset er ikke nytt, men fortsatt det mest siterte: I 2022 brukte forskere ved selskapet Collaborations Pharmaceuticals en AI-modell for molekyldesign i omvendt retning – for å generere potensielle kjemiske stridsmidler fremfor legemidler. På under seks timer genererte modellen 40 000 molekyler med potensial som kjemiske stridsmidler. Noen av dem var designet for å være mer giftige enn kjente nervegasser (MIT Technology Review).

Eksperimentet viser at en modell trent på kunnskap om giftige forbindelser raskt kan generere mange kandidater – men ikke at noen av dem faktisk ble fremstilt, testet eller brukt. Det er en skjelning som gjentas gjennom hele debatten: mellom å designe noe i silisium og å produsere det i den fysiske verden.

Til dette kommer Anthropics rapport fra uken før. Ifølge MIT Technology Review innrømmet selskapet at brukere hadde forsøkt å bruke modellene til å utforske hvordan chikungunya-viruset kunne gjøres mer smittsomt, og hvordan en farligere form for fugleinfluensa kunne lages. Kildehenvisningen er imidlertid avkuttet midt i setningen, slik at detaljene i rapporten ikke kan etterprøves utover dette. Det som kan slås fast, er selskapets egen innrømmelse om at slike forsøk har funnet sted; hvordan de ble avdekket og håndtert, er ikke detaljert i de tilgjengelige gjengivelsene.

Biosecurity-forsker Dunja Sabra ved Universitetet i Hamburg peker i samme retning som advarslene. Sannsynligheten, sier hun til MIT Technology Review, er at «noen besluttsomme til slutt ville lykkes».

Sikringsmekanismene – og hvorfor de ikke er vanntette

MIT Technology Review oppregner tre lag av beskyttelse som allerede finnes:

• DNA-syntesescreening: DNA-synteseselskaper kan screenere bestillinger mot sekvenser fra farlige patogener før de produserer dem.
• Red-team/blå-team-analyse: Systematiske tester der sikkerhetsforskere forsøker å få modeller til å produsere farlige svar, og utvikler mottiltak.
• Modellrestriksjoner hos AI-selskapene: Selskaper har justert verktøyene sine for å hindre at de gir vitenskapelig informasjon som kan misbrukes.

Men magasinet konstaterer at «ingen av disse beskyttelsene er helt solide». Sikringsarkitekturen antar at flaskehalsen ligger i informasjons- og materialtilgang, og bygger filter på filter der. Hver barriere kan i prinsippet omgås eller svikte – spørsmålet er hvor sannsynlig det er i kombinasjon.

Motargumentet: Den fysiske verden er flaskehalsen

WIRED-saken, med tittelen «Why AI Isn't Likely to Wipe Out Humanity With Bioweapons», samler forskere som plasserer risikoen relativt lavt, til tross for det magasinet beskriver som alarmbekymringer som når «feberhøyde, fra Silicon Valley til Washington, DC» (WIRED).

Argumentene peker mot at informasjon – akkurat det AI er best på å levere – ikke er den bindende faktoren.

David Bellamy, forskningsscientist ved Institute of Foundation Models, sier at disse egenskapene «ikke er den egentlige flaskehalsen i produksjonen av biologiske våpen». Selv om en modell ga en komplett designplan, gjenstår materialer, utstyr og praktisk know-how.

Ginkgo Bioworks-sjef Jason Kelly er mer konkret: «AI-en kunne ikke ta over laboratoriet», sier han, delvis fordi menneskene som jobber der rett og slett kan nekte å skaffe boten stoffene og utstyret den ber om.

Olivia Scharfman, bioteknologi-fellow ved tenketanken Institute for Progress, trekker grensen mellom dagens situasjon og et fremtidig scenario: «Det er umulig for AI å få tilgang til et fullt autonomt laboratorium og autonomt bygge et virus i dag, fordi fullt autonome laboratorier ikke finnes ennå», sier hun. «Men jeg tror faktisk at en AI kunne betalt noen til å gjøre det for dem.»

Til slutt relativiserer Francois Belloux, professor i beregningsbiologi, selve våpenevnen til patogener: «Risikoene har en tendens til å være noe misforstått», sier han, og peker på at folk «overestimerer verdien av patogener som våpen».

Hvor vurderingene spriker – og hvor de ikke gjør det

Det er fristende å lese de to sakene som direkte motsetninger, men de handler i stor grad om ulike scenarioer.

MIT Technology Review fokuserer hovedsakelig på misbruk av aktører: mennesker som bruker AI-verktøy til å designe patogener, og som møter sikringsmekanismer som finnes men ikke er vanntette. Sabras utsagn handler om en menneskelig aktør med AI som verktøy, ikke om en selvstendig AI.

WIRED fokuserer hovedsakelig på selvstendig AI-distribusjon: scenariet der en avansert AI autonomt designer, produserer og slipper et biologisk våpen. Det er dette scenarioet Kelly, Bellamy og Scharfman anser som lite sannsynlig – fordi autonome laboratorier ikke finnes, fordi mennesker i systemet ville nekte, og fordi fysisk montering er flaskehalsen.

De to scenarioene krever ikke motsatte vurderinger av samme spørsmål. Det er fullt konsistent å mene at et menneske med AI-hjelp kan senke terskelen for skade (MITTRs bekymring) samtidig som man mener at en selvstendig AI som ubemerket bygger et våpen i dag er fjernt (WIREDs konklusjon). Sprikingen gjelder likevel noe reelt: hvilket scenario som fortjener oppmerksomhet og ressurser nå.

Der de ikke spriker: Begge sidene anerkjenner at sikringsmekanismer finnes, og ingen hevder at de er tilstrekkelige i alle sammenhenger. MITTR kaller dem «ikke helt solide»; Scharfmans sitat viser at også barrierene i WIREDs panel kan svikte gjennom mennesker.

Det uavklarte scenariet: AI som betaler en person

Scharfmans vurdering plasserer seg nøyaktig mellom de to rammene: fullstendig autonome laboratorier finnes ikke, men en AI trenger ikke autonome anlegg – bare penger og en villig person. Scenariet er verken «ondsinnet aktør finner oppskriften selv» eller «AI tar over laboratoriet», men en blanding: AI som klient, menneske som hender.

Kildene gir ingen vurdering av hvor sannsynlig dette er, eller hvilke mottiltak som ville stoppe det. Det er uavklart – og verdt å holde eksplisitt uavklart.

Ginkgo-prosjektet: et selskapsutsagn om GPT-5

Kelly hevder at Ginkgo Bioworks, som spesialiserer seg på autonome laboratorier, nylig kjørte et prosjekt med OpenAI der GPT-5-modellen drev et laboratorium. Dette er et selskapsutsagn, gjengitt i WIRED, ikke noe uavhengig verifisert. Hvis det stemmer, illustrerer det at automatiserte lab-egenskaper er under rask utvikling. Uten detaljer om omfang, autonomigrad og sikkerhetsrammeverk bør det tas som en indikasjon på retning – ikke som et mål på dagens fareevne.

Det som gjenstår uavklart

Flere ting kan ikke fastslås på grunnlag av kildene:

• Hvor sannsynlig «betalingsscenariet» er. Ingen av kildene kvantifiserer risikoen eller peker på konkrete mottiltak som betalingskontroll.
• Ginkgo-prosjektet med GPT-5. Foreligger kun som selskapets egen beskrivelse.
• Detaljene i Anthropics rapport. Kjent gjennom en avkuttet gjengivelse; hvordan avdekking og håndtering skjedde, er uklart.
• Nøyaktige datoer. Amodei/Altman-utvekslingen skjedde «forrige helg» i forhold til 18. september 2026, rapporten «forrige uke» – presise datoer kan ikke fastslås.
• Primærstudier. Verken Collaborations Pharmaceuticals-studien eller Anthropic-rapporten foreligger i dokumentasjonsgrunnlaget.

Hvorfor det er verdt å følge med

Uenigheten mellom de to mediene gjenspeiler en reell spenning i risikovurderingen: Om ressursene bør gå til å styrke dagens sikringsmekanismer mot menneskelig misbruk – DNA-screening, red-teaming, modellrestriksjoner – eller til å forberede seg på et scenario som fortsatt ikke teknisk eksisterer. Svaret er trolig «begge», men balansen er uavklart.

Det konkrete å holde øye med er tre ting: om autonome laboratorier begynner å fungere i praksis, om sikringsmekanismene holdes oppe etter hvert som modellene blir mer kapable, og om rapporter som Anthropics kan suppleres med uavhengig innsyn. Inntil da er den mest forsiktige konklusjonen den ekspertene selv gir: verken at AI har gjort biologiske våpen til en umiddelbar trussel, eller at bekymringen kan avskrives.

---

AI Generated 40,000 Potential Chemical Weapons Agents in Under Six Hours – but the Risk Is Contested

On the same day in September 2026, two articles reached conflicting conclusions: MIT Technology Review warns that it has never been easier to design dangerous pathogens, while WIRED quotes scientists who consider the risk — particularly of an autonomous AI deploying biological weapons — low. The disagreement is less about facts than about which scenario is actually being discussed.

The debate is no longer abstract. Recently, Anthropic CEO Dario Amodei argued that AI poses serious risk and that progress should be slowed. OpenAI CEO Sam Altman replied on X that he agreed the frontier needs pacing — "we need to pace the frontier" (MIT Technology Review, September 18, 2026). The week before, Anthropic published a report admitting that people had attempted to use its models to explore making the chikungunya virus more transmissible and a form of bird flu more dangerous. And on September 18, 2026, MIT Technology Review and WIRED both published pieces on AI and biological weapons — with profoundly different assessments.

One premise should be clear from the start: the 2022 study from Collaborations Pharmaceuticals and Anthropic's report are known here only through the two magazines' accounts. The underlying documents are not available in the present evidence base.

What the Warnings Rest On

The MIT Technology Review piece, written by Jessica Hamzelou, starts from the fear that AI could aid the design, production, and spread of biological weapons. The central evidence is not new, but remains the most cited: in 2022, researchers at Collaborations Pharmaceuticals used an AI molecular-design model in reverse — to generate potential chemical weapons agents rather than drugs. In under six hours, the model generated 40,000 molecules with potential as chemical weapons agents. Some were designed to be more toxic than known nerve agents (MIT Technology Review).

The experiment shows that a model trained on toxic-compound knowledge can quickly generate many candidates — not that any were actually produced, tested, or used. It is a distinction that recurs throughout the debate: between designing something in silico and producing it in the physical world.

Then there is Anthropic's report from the week before. According to MIT Technology Review, the company admitted users had attempted to use its models to explore making the chikungunya virus more transmissible, and creating a more dangerous form of bird flu. The source citation is cut off mid-sentence, so the report's details cannot be verified beyond this. What can be established is the company's own admission that such attempts occurred; how they were detected and handled is not detailed in the available accounts.

Biosecurity researcher Dunja Sabra at the University of Hamburg points the same direction as the warnings. The chances, she tells MIT Technology Review, are that "someone determined would succeed eventually."

The Safeguards – and Why They Are Not Ironclad

MIT Technology Review lists three layers of protection that already exist:

• DNA synthesis screening: DNA synthesis companies can screen orders against sequences from dangerous pathogens before producing them.
• Red-team/blue-team analysis: Systematic tests in which security researchers try to get models to produce dangerous answers, and develop countermeasures.
• Model restrictions at AI companies: Companies have adjusted their tools to prevent them from providing scientific information that could be misused.

But the magazine notes that "none of these protections are ironclad." The safeguard architecture assumes the bottleneck lies in information and material access, and builds filter upon filter there. Each barrier can in principle be circumvented or fail — the question is how likely that is in combination.

The Counterargument: The Physical World Is the Bottleneck

The WIRED piece, titled "Why AI Isn't Likely to Wipe Out Humanity With Bioweapons," gathers scientists who rank the risk relatively low, despite what the magazine describes as alarm reaching "fever pitch, from Silicon Valley to Washington, DC" (WIRED).

The arguments point toward information — precisely what AI is best at delivering — not being the binding constraint.

David Bellamy, research scientist at the Institute of Foundation Models, says those capabilities are "not really the bottleneck in the production of bioweapons." Even if a model provided a complete design plan, materials, equipment, and practical know-how would remain.

Ginkgo Bioworks CEO Jason Kelly is more concrete: "The AI could not take over the lab," he says, partly because the humans working there could simply decline to procure the substances and equipment the bot requests.

Olivia Scharfman, biotechnology fellow at the think tank Institute for Progress, draws the line between today and a future scenario: "It is impossible for AI to access a fully autonomous lab and autonomously build a virus today because fully autonomous labs do not exist yet," she says. "But I do think that an AI could pay someone to do it for them."

Finally, Francois Belloux, professor of computational biology, relativizes the weapons capability of pathogens themselves: "The risks tend to be somewhat misunderstood," he says, noting that people "overestimate the value of pathogens as weapons."

Where the Assessments Diverge – and Where They Do Not

It is tempting to read the two pieces as direct opposites, but they largely address different scenarios.

MIT Technology Review focuses mainly on misuse by actors: humans using AI tools to design pathogens, encountering safeguards that exist but are not ironclad. Sabra's statement concerns a human actor with AI as a tool, not an autonomous AI.

WIRED focuses mainly on autonomous AI deployment: the scenario in which an advanced AI autonomously designs, produces, and releases a biological weapon. It is this scenario Kelly, Bellamy, and Scharfman consider unlikely — because autonomous labs do not exist, because humans in the system would refuse, and because physical assembly is the bottleneck.

The two scenarios do not require opposite assessments of the same question. It is fully consistent to believe a human with AI assistance can lower the threshold for harm (MITTR's concern) while believing an autonomous AI covertly building a weapon today is remote (WIRED's conclusion). The divergence still concerns something real: which scenario deserves society's attention and resources now.

Where they do not diverge: both sides acknowledge safeguards exist, and neither claims they are sufficient in every context. MITTR calls them "not ironclad"; Scharfman's quote shows that even in WIRED's panel, barriers can fail through humans.

The Unresolved Scenario: AI Paying a Person

Scharfman's assessment sits precisely between the two frames: fully autonomous labs do not exist, but an AI does not need autonomous facilities — only money and a willing person. The scenario is neither "malicious actor finds the recipe themselves" nor "AI takes over the laboratory," but a blend: AI as client, human as hands.

The sources offer no assessment of how likely this is, or which countermeasures would stop it. It is unresolved — and worth keeping explicitly unresolved.

The Ginkgo Project: A Company Claim About GPT-5

Kelly claims that Ginkgo Bioworks, which specializes in autonomous labs, recently ran a project with OpenAI in which the GPT-5 model ran a lab. This is a company claim, reported in WIRED, not independently verified. If true, it illustrates that automated lab capabilities are under rapid development. Without details on scope, degree of autonomy, and safety framework, it should be taken as an indication of direction — not a measure of today's capability for harm.

What Remains Unresolved

Several things cannot be established from the sources:

• How likely the "payment scenario" is. Neither source quantifies the risk or points to concrete countermeasures such as payment controls.
• The Ginkgo project with GPT-5. Exists only as the company's own description.
• The details of Anthropic's report. Known through a truncated account; how detection and handling occurred is unclear.
• Exact dates. The Amodei/Altman exchange happened "last weekend" relative to September 18, 2026, the report "last week" — precise dates cannot be established.
• Primary studies. Neither the Collaborations Pharmaceuticals study nor Anthropic's report is available in the evidence base.

Why It Is Worth Watching

The disagreement between the two outlets reflects a real tension in risk assessment: whether resources should go toward strengthening today's safeguards against human misuse — DNA screening, red-teaming, model restrictions — or toward preparing for a scenario that does not yet technically exist. The answer is probably "both," but the balance is unresolved.

The concrete things to watch are three: whether autonomous labs begin to work in practice, whether safeguards hold as models become more capable, and whether reports like Anthropic's can be supplemented with independent oversight. Until then, the most cautious conclusion is the one the experts themselves give: neither that AI has made biological weapons an immediate threat, nor that the concern can be dismissed.