AMD GPU-er tar prefill, CS-3 tar dekoding i Cerebras' splittede inferansearkitektur

Cerebras har tatt det som lenge har vært et forskningsemne blant de store skyleverandørene – splittet (disaggregert) inferanse – inn i egen produksjon. Selskapet annonserte 17.

Arkivfoto: AMD Athlon XP 1700+ processor
Arkivfoto: Matthieu Riegler English : This photo has been taken by Matthieu Riegler ( User:Kyro ) and released under the licenses stated below. You are free to use it for any purpose as long as you credit me as author, Wikimedia Commons as site and follow the terms of the licenses. Could you be kind enough to leave me a message on this page to inform me about your use of this picture. Example : © Matthieu Riegler , CC-BY Français : Cette photo a été prise par Matthieu Riegler ( User:Kyro ) et placée sous les licences ci-dessous. Vous êtes libre de la réutiliser, pour n'importe quelle utilisation, tant que vous me citez en tant qu'auteur, Wikimedia Commons en tant que site et suivez les instructions des licences. Pourriez-vous avoir l'amabilité de me laisser un message sur cette page pour m'informer de votre utilisation de cette image. Exemple : © Matthieu Riegler , CC-BY This file is licensed under the Creative Commons Attribution 3.0 Unported license. Attribution: Matthieu Riegler, CC-by You are free: to share – to copy, distribute and transmit the work to remix – to adapt the work Under the following conditions: attribution – You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use. https://creativecommons.org/licenses/by/3.0 CC BY 3.0 Creative Commons Attribution 3.0 true true Vous souhaitez faire apparaitre cette photo sans crédit ? Contactez moi ! If you want to use the photo without credit, please contact me ., CC BY 3.0 · kilde

AMD GPU-er tar prefill, CS-3 tar dekoding i Cerebras' splittede inferansearkitektur

Cerebras har tatt det som lenge har vært et forskningsemne blant de store skyleverandørene – splittet (disaggregert) inferanse – inn i egen produksjon. Selskapet annonserte 17. november 2026 at inferansetjenesten nå deler arbeidet mellom to helt forskjellige maskintyper: AMD Instinct-GPU-er prosesserer brukerens prompt, mens Cerebras' CS-3-systemer basert på wafer-skala-chiper genererer svaret. Ifølge selskapets egen måling ga kombinasjonen fem ganger høyere throughput per megawatt enn en konfigurasjon med kun CS-3, uten tap i tokenhastighet (Cerebras blogg).

Tallet stammer fra en måling datert 14. november 2026 i Cerebras Inference Cloud, gjort på en delt GPT-OSS-120B-endepunkt og normalisert mot en såkalt aggregert inferanse-baseline. Det er altså en eg rapportert måling, ikke en uavhengig benchmark, og detaljene om måleforhold, arbeidslast og maskinvarekonfigurasjon er ikke offentliggjort i full detalj.

Hvorfor splitte inferansen?

Å kjøre en språkmodell består av to faser med svært ulike egenskaper. I prefill-fasen leses hele prompten inn og modellen bygger opp en intern representasjon av den – mye regnearbeid som kan parallelliseres godt. I dekode-fasen genereres ett token av gangen, og hveravgjørelse avhenger av å lese den akkumulerte tilstanden (blant annet nøkkel-verdi-cache, KV-cache) raskt fra minnet.

Cerebras' argument er at dekodefasen er begrenset av minnebåndbredden, ikke av regnekraften. Der passer selskapets wafer-skala-design dårlig til prefill, men godt til dekoding: CS-3-waferen har ifølge selskapet «titalls gigabytes» SRAM og «titalls petabytes per sekund» minnebåndbredde på én chip – angitt som 350 ganger SRAM-kapasiteten og 5 400 ganger minnebåndbredden til en typisk NVIDIA GB300-GPU. Også disse tallene er selskapets egne påstander, ikke verifiserte fakta.

Logikken i splitten er dermed enkel: Gi prefill-arbeidet – som GPU-er er utmerkede til – til AMD Instinct-GPU-er, og la hele CS-3-kapasiteten gå til token-generering, der den enorme SRAM- og båndbreddereserven faktisk utnyttes. Selskapet sier at dette er motivert av etterspørselen: Utviklingen av disaggregert inferanse startet ifølge bloggposten for «å møte etterspørselen».

Rørleggingen: KV Portal

Det tekniske mellomleddet er KV Portal, programvare som overfører mellomliggende modelltilstand – inkludert KV-cachen – fra prefill-motoren til dekode-motoren over RDMA. RDMA (remote direct memory access) tillater direkte minnetilgang mellom maskiner med lav latense, noe som er kritisk når prefill og dekode nå skjer på fysiske adskilte systemer.

For partnere tilbyr Cerebras en referansearkitektur og en ende-til-ende programvarestakk for disaggregert inferanse, samt en decode-only SDK der partneren kan la Cerebras-systemene stå for dekoding alene. Detaljene rundt denne SDK-banen er begrenset i det offentliggjorte materialet.

Økosystem og utrullingsplan

Fire partnere er nevnt med tidlig tilgang: Amazon Web Services, Fireworks AI, Gimlet Labs og General Compute, oppgitt gjennom LavX News med henvisning til lanseringsbloggen. Cerebras oppgir at tilgangen utvides til flere partnere.

Utrullingsplanen er ambisiøs: Selskapet planlegger å rulle ut disaggregert inferanse «bredt» på hundrevis av megawatt i Cerebras Inference Cloud og i partnerutrullinger innen utgangen av 2027. Dette er selskapets egen plan, ikke et verifisert utfall, og hundrevis av megawatt er en storstilet skaleringsambisjon for et selskap av Cerebras' størrelse.

Konteksten: effektivitet blir flaskehalsen

Bakgrunnen for interessen for slik arkitektur er et grovt gap mellom etterspørsel og kapasitet. Goldman Sachs Research spår ifølge LavX News – slik tallene er sitert i sirkulasjon rundt lanseringen – at AI-inferanseetterspørselen vil nå 24 ganger 2026-nivået innen 2030, mens datasenterkapasiteten bare vokser 2,2 ganger i samme periode. Merk at disse tallene hviler på sekundærkilder: Den underliggende Goldman Sachs-rapporten er ikke tilgjengelig i det grunnlaget denne artikkelen bygger på, og tallene gjenngis via LavX News' gjenfortelling og Cerebras' egen kontekst.

Hvis prognosene har rett retning, blir tokens per megawatt en av de viktigste måle-metrikken for inferanseinfrastruktur. Det er nettopp der Cerebras plasserer sitt hovedbudskap.

Hva som er åpne spørsmål

  • Verifisering. 5x-tallet per megawatt er en eg rapportert måling fra ett delt endepunkt av én modell (GPT-OSS-120B), normalisert mot selskapets egen baseline. Ingen uavhengig benchmark er foreløpig tilgjengelig.
  • Generaliserbarhet. Hvordan arkitekturen presterer på andre modeller, andre prompt-/utdatalengde-mikser og andre konfigurasjoner, er ikke dokumentert. Resultatet kan i prinsippet være gunstig påvirket av arbeidslastens sammensetning.
  • Metodikk. Måleforholdene 14. november – maskinvareoppsett, samtidighet, trafikkmønster – er ikke fullt beskrevet i det offentliggjorte materialet.
  • Utrulling. Om partnerutrullingene faktisk materialiserer seg innen utgangen av 2027, og i hvilken skala, gjenstår å se.
  • SDK-detaljer. Decode-only-banen for partnere er beskrevet i begrenset grad i kildematerialet.

Hva det betyr

Uavhengig av om 5x-tallet holder under uavhengig gransking, er det arkitektoniske budskapet tydelig: Cerebras posisjonerer wafer-skala-chipene sine ikke som en GPU-erstatter, men som en spesialisert dekode-motor i en hybrid arkitektur der GPU-er gjør det de er best til. Det er en pragmatisk vending for et selskap som historisk har markedsført CS-3 som en komplett alternativ compute-plattform – og et eksempel på at inferanseinfrastruktur i økende grad spesialiseres per fase, ikke per modell.

Få de viktigste AI-nyhetene i innboksen

Nyheter, analyser og verktøy samlet for deg.