DeepSeek frigir DeepInfer: Produksjonsrammeverket bak egne tjenester blir åpen kildekode
Den kinesiske AI-startupen DeepSeek åpnet 20. oktober 2026 kildekoden til DeepInfer, inferensrammeverket som driver selskapets egne produksjonstjenester. Utgivelsen, som skjer under Apache 2.0-lisensen, gir et sjeldent førstehåndsinnblikk i hvordan et front-lab faktisk serverer modellene sine i stor skala. Men de mest økonomisk interessante detaljene kommer med et viktig forbehold: alle publiserte benchmarks er kjørt på Nvidia-maskinvare, og alle tall stammer fra DeepSeek selv. Huawei-støtten er offisiell – ytelsen på Ascend er uverifisert.
Hva DeepInfer er
DeepInfer er rammeverket bak DeepSeeks produksjonstjenester, ifølge SiliconANGLE. Rammeverket ble opprinnelig bygget primært på vLLM, med idéer hentet fra SGLang og TensorRT-LLM, ifølge MarkTechPost, som igjen viser til DeepSeeks GitHub-dokumentasjon.
Sammen med DeepInfer lanserte selskapet verktøyet deepseek-recipe, som håndterer token-koding og -dekoding og er designet for å samsvare med logikken i DeepSeeks offisielle API, rapporterer Crypto Briefing. For utviklere som vil replikere DeepSeeks serveringsoppsett betyr det at de kan regne med tokenisering identisk med det API-et faktisk gjør.
Hvilken maskinvare som støttes – og hva som ikke er bevist
I henhold til DeepSeeks distribusjonsdokumentasjon støtter DeepInfer Nvidias SM100 Blackwell-GPU-er og Huaweis Ascend 950-neurale prosessorer. Hopper og andre eldre Nvidia-arkitekturer står ikke på listen. Det betyr at rammeverket henvender seg mot de nyeste brikkegenerasjonene på begge sider av Stillehavet – og utelater samtidig mye av den installerte basen.
Her er forbeholdet sentralt: Alle publiserte ytelsestester er kjørt på Nvidia-brikker, og to funksjoner som holder output identisk fra kjøring til kjøring (determinisme), fungerer kun på Nvidia-maskinvare, ifølge SiliconANGLE. At Ascend 950 er offisielt støttet, betyr altså ikke at ytelsen på Huawei-brikker er dokumentert. Det som er verifisert, er støtten i koden – ikke hastigheten.
Tallene DeepSeek selv rapporterer
DeepSeeks distribusjonsdokumentasjon inneholder en rekke økonomisk interessante påstander, som alle bør leses som selskapets egne tall:
- 155 billioner tokens per dag per klynge, ifølge dokumentet, referert av SiliconANGLE.
- 38 dollar per GPU per time i inntekt ved off-peak-prising, ifølge samme dokument.
- Over 25 000 output-tokens per sekund per GPU i dekodingsgjennomstrømning ved 256 forespørsler per rank, ifølge MarkTechPost.
- Den minste effektive distribusjonen som beskrives, bruker 64 GPU-er til prefill og 64 til dekoding.
Ingen av tallene er uavhengig verifisert. De gir likevel et sjeldent innblikk i hvordan et front-lab regner på driften sin – og de antyder hvorfor selskapet legger vekt på lav kostnad per token som et konkurransefortrinn.
DSpark: Spekulativ dekoding som kutter sjekking
Ett konkret teknisk element i utgivelsen er DSpark, DeepSeeks system for spekulativ dekoding. Metoden lar en mindre modell foreslå tokens som hovedmodellen verifiserer i parallell. DeepSeek oppgir at systemet kutter antall utkast-tokens som sjekkes per steg med rundt 30 prosent, og at selskapet estimerer en gjennomstrømningsgevinst på 4–7 prosent ved sin egen produksjonslast. Også her gjelder det samme: estimatene er DeepSeeks egne, ikke målt uavhengig.
Hva som er holdt tilbake
Utgivelsen er ikke komplett. DeepSeek har ikke frigitt koden for key-value cache-håndtering, P/D-disaggregering (separering av prefill og dekoding på ulike maskiner) eller lastbalansering, ifølge SiliconANGLE og MarkTechPost. Selskapet begrunner det med at disse komponentene er tett koblet til den interne infrastrukturen. Et blogginnlegg selskapet har publisert på Zhihu beskriver hvordan de fungerer, men koden er altså ikke offentlig.
Det betyr at den praktiske verdien av utgivelsen for eksterne aktører ligger mest i kjernen av inferensmotoren – ikke i de delene som i stor grad styrer kostnadene og utnyttelsesgraden i en klynge i produksjon.
Hvorfor Huawei-støtten betyr noe
Utgivelsen lander i en sensitiv periode. DeepInfer følger på en utgivelse 30. september der DeepSeek, med Huaweis hjelp, brakte programmeringsspråket TileLang for kjerner til Huaweis brikker, ifølge SiliconANGLE. At et front-lab med produksjonserfaring offisielt lister Ascend 950 i sitt produksjonsrammeverk, er et konkret datapunkt i Huaweis forsøk på å fremstå som et troverdig alternativ til Nvidia etter hvert som amerikanske restriksjoner strammes til.
Analysen Jack Gold, president i J. Gold Associates, gir til TechTarget, peker i samme retning: At DeepSeek kjører motoren på maskinvare fra den kinesiske brikkeprodusenten, er bra for Huawei, som forsøker å bygge et rykte som et pålitelig alternativ til Nvidia. Men bildet har to sider. At DeepSeek fortsatt kjører alle publiserte benchmarks på Nvidia-brikker, og at determinisme-funksjonene kun fungerer der, tyder på at Huawei fortsatt henger etter på minst noen områder – et poeng TechTargets dekning indikerer.
For bedrifter er verdien av slike utgivelser knyttet til kost og hastighet. «Det er mye diskusjon rundt token-optimalisering», sa Lian Jye Su, analytiker i Omdia, til TechTarget. «Token-forbruket har eksplodert, og tanken er at hvis du kan utføre en oppgave raskt og til lav kostnad, hjelper det … å optimalisere investeringen din i AI-infrastruktur.»
Timing: Én dag etter DHS-ordre
Utgivelsen kom én dag etter at det amerikanske Sikkerhetsdepartementet (DHS) beordret føderale sivile etater til å fjerne DeepSeek-produkter fra systemene sine, inkludert tredjepartstjenester bygget på selskapets teknologi, ifølge SiliconANGLE. Kilden knytter ikke utgivelsen direkte til DHS-beslutningen, og det er grunn til å ikke spekulere i motivasjonen bak timingen. Men konteksten er tydelig: DeepSeek åpner kildekoden og dokumenterer driften sin samtidig som amerikanske myndigheter strammer inn tilgangen til selskapets produkter i offentlig sektor.
Hva som fortsatt er åpent
Flere spørsmål står ubesvart av det tilgjengelige kildematerialet:
- Ascend-ytelsen er uverifisert. Ingen benchmarks er publisert på Huaweis brikker, og det finnes foreløpig ingen uavhengige målinger.
- Et annenhåndsig anslag om 160 000 Ascend 950DT-akseleratorer planlagt til et datasenter i Indre Mongolia, rapportert av Bloomberg og referert i SiliconANGLE, kunne ikke bekreftes og bør behandles som ubekreftet.
- Forholdet mellom 30. september-utgivelsen (TileLang og Ascend-verktøy) og 20. oktober-utgivelsen (DeepInfer) er ikke helt avklart på tvers av kildene. De behandles her som to adskilte utgivelser, der september-utgivelsen er bakgrunn for samarbeidet med Huawei.
Det DeepInfer-utgivelsen faktisk gir, er to ting samtidig: en sjelden, konkret dokumentasjon av hvordan et front-lab serverer modeller i produksjon – og en påminnelse om at i geopolitisk ladet AI-inferens er det fortsatt forskjell på hva som er offisielt støttet, og hva som er bevist.