Vercel Labs lanserer agent-desktop 1.0.2 som åpen kildekode under Apache-2.0-lisensen
Vercel Labs har gitt ut agent-desktop som åpen kildekode: et Rust-verktøy som lar kodeagenter betjene native apper på macOS, Windows og Linux via operativsystemets tilgjengelighetstre i stedet for skjermbilder. Selskapet melder selv om tokenbesparelser på 78–96 prosent – men tallene er foreløpig uavhengig ubekreftet.
Versjon 1.0.2 av agent-desktop ble lansert 30. oktober 2026 under Apache-2.0-lisensen, ifølge MarkTechPost, som omtalte utgivelsen 31. oktober 2026. Verktøyet er beregnet på den voksende kategorien «computer use» – AI-agenter som betjener en datamaskin slik en bruker ville gjort. Der modellenære tilnærminger fra Anthropic og OpenAI bygger på skjermbilder og pikselkoordinater, leser agent-desktop hver app gjennom operativsystemets tilgjengelighetstre og gir agenten en strukturert JSON-oversikt med en referanse til hvert element den kan handle på.
Et verktøy, ikke en agent
agent-desktop består av et CLI-grensesnitt og et C-bibliotek skrevet i Rust. Det er verdt å understreke hva det ikke er: verktøyet inneholder ingen språkmodell og har intet grafisk grensesnitt. Det er et verktøy som en agent kaller – typisk en shell-kompetent kodeagent – og hver kommando skriver ut én JSON-konvolutt og avslutter. Agenten selv, og valget av modell, ligger utenfor verktøyet. Det gjør agent-desktop modellagnostisk: samme verktøy kan i prinsippet brukes med hvilken som helst modell som kan kjøre shell-kommandoer.
Slik fungerer det
Kjernen, agent-desktop-core, når operativsystemet utelukkende gjennom en PlatformAdapter-abstraksjon. I praksis betyr det at verktøyet snakker med hver plattforms native tilgjengelighets-API: AX API på macOS, UI Automation på Windows og AT-SPI på Linux. Tilgjengelighetstreet er samme struktur som skjermlesere bruker, og det beskriver appens elementer – knapper, felt, menyer – med roller og tilstander i stedet for piksler.
Når en agent tar et «blikk» på en app, får den altså ikke et bilde, men en JSON-snapshot med en stabil referanse (ref) til hvert handlingsbare element. Agenten kan så utføre handlinger mot disse referansene. Som standard går ref-handlingene gjennom tilgjengelighets-API-et uten å flytte musepekeren eller ta fokus – det er dette som gjør det mulig for agenten å jobbe mens brukeren fortsetter å bruke maskinen. En global --headed-flagg tillater fysisk input når det trengs. Hver ref-handling auto-venter opptil 5 000 millisekunder på at målet er synlig, aktivert og stabilt.
Feilmodellen: fail closed
agent-desktop velger en streng feilmodell: referanseløsning er streng og feiler lukket. Når brukergrensesnittet endrer seg mellom snapshot og handling, returnerer verktøyet en STALE_REF- eller AMBIGUOUS_TARGET-feil, og agenten må ta en ny snapshot. Hver feil bærer med seg en disposition, og agenten bør bare prøve på nytt når disposisjonen sier safe. Designet prioriterer altså eksplisitte feil fremfor antatte suksesser.
Regnestykket: tokens mot piksler
Selve argumentet for tilnærmingen er kostnaden. Ifølge Anthropics egen dokumentasjon, som MarkTechPost viser til, koster hvert skjermbilde i Claude computer use grovt regnet 1 000–1 800 input-tokens, og selve definisjonen av verktøysettet legger til rundt 4 500 tokens per forespørsel. Over en lang oppgave med mange skjermbilder løper det raskt opp.
Utgiverens egne tall peker i samme retning, men må leses med forbehold. Utvikleren bak verktøyet rapporterer en tokenbesparelse på 78–96 prosent sammenlignet med fullstendige utskrifter av tilgjengelighetstreet i tette Electron-apper som Slack, VS Code og Notion. I Apple Maps skal en enkelt visning ha falt fra 3 811 til 273 tokens. I en simulert oppgave over 52 trinn skal forbruket ha sunket fra 198 000 til 31 000 tokens. Alle disse tallene er altså selvrapporterte av utbyggeren – det finnes foreløpig ingen uavhengig benchmark som bekrefter dem.
Det finnes dessuten andre som allerede bruker samme grunnleggende teknikk. Microsofts UFO² benytter også UI Automation på Windows, men leveres som en fullverdig Windows-agent – altså et langt mer omfattende system – mens agent-desktop bevisst holder seg til et enkelt, modellagnostisk verktøy.
Åpne spørsmål
All omtalen av utgivelsen stammer fra én sekundær kilde, MarkTechPost; verken depot, endringslogg eller egen kunngjøring fra Vercel Labs er tilgjengelig i det foreliggende grunnlaget. Ytelsestallene er, som kilden selv påpeker, selvrapporterte. En sammenligningstabell mot Claude computer use, OpenAI computer use og UFO² er ikke fullt ut dokumentert i kilden og kan derfor ikke verifiseres her.
Et annet ubesvart spørsmål er sikkerhetsprofilen: hva det vil si å la en agent styre native skrivebordsapper headlessly – uten pekerflytting eller fokus – er ikke behandlet i kilden, og krever uavhengig dekning før noen trekker konklusjoner derfra. Tilgjengelighetstreet gir agenten tett integrasjon med brukerens faktiske maskin, og det er en avveining som fortjener egen analyse.
Hva man bør følge med på
Den interessante framtidige utviklingen er tosidig. For det første: uavhengige benchmarks som kan bekrefte eller avkrefte tokenbesparelsene, og primærkilder – depot og dokumentasjon – som kan verifisere de tekniske detaljene. For det andre: hvordan forholdet mellom strukturerte snapshots og skjermbilder utvikler seg – strukturerte data der de finnes, skjermbilder der de ikke gjør det. Foreløpig støtter beviset en avveining mellom tilnærmingene, ikke en dom over noen av dem.