Meta slipper 816-milliardersmodellen – den kjører allerede lokalt på Mac Studio
Meta har denne uken sluppet vektene for Muse Spark Open, en multimodal språkmodell med over 800 milliarder parametere – og Apples forskere har allerede vist at den kan kjøres på et bord, ikke i et datasenter. I tester publisert torsdag genererte fire M5 Ultra Mac Studio-maskiner mer enn 36 tokens per sekund ved en kontekstlengde på 8 192 tokens, ifølge Apples egne tall formidlet gjennom TechBooky og MacStories. Demonstrasjonen er et uvanlig direkte samarbeid mellom Apple og Meta om skala i lokal inferens – men alle nøkkeltall stammer fra selskapene selv, og flere sentrale spørsmål er ubeseiret.
Det som er sluppet, og av hvem
Meta har ifølge MacStories (John Voorhees) «nettopp sluppet vektene for Muse Spark Open, en multimodal stor språkmodell med en mixture-of-experts-arkitektur. Den har over 800 milliarder parametere totalt, med 40 milliarder aktive per token, og den kan kjøre på de nyeste Mac Studio-maskinene» (MacStories).
Apple-virkemiddelet er MLX, Apples åpen kildekode-rammeverk for maskinlæring på Apple-silisium. Apples forskere sier at modellen kan kjøres på tvers av en klynge Mac Studio-maskiner ved hjelp av MLX, ifølge TechBooky (TechBooky). Kildegrunnlaget her er sekundært: hverken Metas utgivelsesmelding eller Apples Machine Learning Research-blogginnlegg foreligger direkte, så alle tall nedenfor er selskapsopplysninger videreformidlet gjennom disse to dekningene.
Skalaproblemet i tall
Muse Spark Open er for stor til å få plass i én vanlig arbeidsstasjon ved opprinnelig presisjon. Apple anslår at modellen ville krevd mer enn 1,6 TB minne for parameterne sine ved naturlig presisjon. Komprimert til firebit format synker fotavtrykket til rundt 493 GB – og det er før man regner med minnet som brukes under selve genereringen av et svar (Apple, via TechBooky).
Det er her mixture-of-experts-arkitekturen (MoE) blir relevant. Selv om modellen totalt har 816 milliarder parametere, er det bare en brøkdel som aktiveres for hver token. Apple oppgir at det dreier seg om omtrent 42 milliarder aktive parametere per token, ifølge TechBooky, mens MacStories skriver 40 milliarder aktive per token. Tallene er ikke forenlig i kildene og er sannsynligvis et spørsmål om avrunding – men de gjengis her som de står, med hver sin kilde. MoE-prinsippet er uansett det som gjør oppsettet overkommelig: Selv om totalvekten må ligge i minnet, er regnearbeidet per token langt lavere enn totalparametrene antyder.
Hvordan klyngen fungerer
Nøkkelen til å splitte 493 GB parameterdata over flere maskiner er en lav-latens forbindelse. MLX bruker ifølge TechBooky RDMA (remote direct memory access) over Thunderbolt 5, slik at flere Mac Studio-maskiner kan dele inferensarbeidet. RDMA betyr at maskinene kan lese hverandres minne direkte, uten mellomliggende programvarelag – nettopp det som trengs for at parallellisering ikke skal spise opp gevinsten.
Apple har testet to parallelliseringsstrategier: pipeline-parallellisme og tensor-parallellisme, og rapporterte topphastigheten sin med fire M5 Ultra-systemer, skriver TechBooky. I de publiserte testene genererte de fire maskinene mer enn 36 tokens per sekund ved en kontekst på 8 192 tokens. TechBooky påpeker selv at tallet måler utgangshastighet under en spesifisert testkonfigurasjon – det er altså ikke et generelt løfte om ytelse i alle scenarioer.
Resultatene må også leses mot bakgrunn av M5 Ultra-chippen selv. Ifølge Apples Machine Learning Research-blogg, sitert av MacStories, «overgår M5 Ultras tid til første token M3 Ultra med 4,6 ganger, takket være M5 Ultras Neural Accelerators». I oppsett med flere Studio-maskiner gir M5 Ultra opp mot 1,8 ganger raskere tid til første token ved svært store kontekster, og tokengenereringen er 1,6 ganger raskere enn M4 Ultra, ifølge samme kilder.
Hva det koster – og hva du faktisk trenger
Det er her demonstrasjonen møter virkeligheten. Kjøring av Muse Spark Open krever minst to maskiner, ifølge MacStories. Enkelte av Apples tester ble gjort med 512 GB-varianten av M5 Ultra Mac Studio – som ifølge MacStories er planlagt lansert ved utgangen av året, uten oppgitt pris. Til sammenligning koster 256 GB-modellen med 2 TB lagring over 11 000 dollar. En firedobling av en slik maskin havner dermed langt utenfor privatmarkedet, og det er foreløpig uklart hva den uutgitte 512 GB-varianten vil koste.
Hva som fortsatt er ubesvart
De mest oppsiktsvekkende tallene – 816 milliarder parametere, 42 milliarder (eller 40) aktive per token, 493 GB ved firebit og over 36 tokens per sekund – er alle Apples egne påstander videreformidlet gjennom TechBooky og MacStories. Ingen uavhengig kilde har bekreftet dem. Det er dessuten uklart nøyaktig når Metas vektutgivelse og Apples blogginnlegg skjedde; TechBooky oppgir bare at testene ble «publisert torsdag».
Flere praktiske spørsmål er heller ikke besvart i kildene: Hvor god er modellens faktiske utgang, særlig etter firebit-kvantisering av et 816-milliardersparametersnett? Hvor stabil er latensen i reell bruk, ikke bare under benchmark-konfigurasjonen? Og hvordan oppfører pipeline- og tensor-parallellisme seg ulikt i praksis? TechBooky bemerker at det publiserte måltidet gjelder utgangshastighet under én bestemt test, så generalisering til andre arbeidsmengder er foreløpig ikke dokumentert.
Det som likevel står igjen, er en konkret teknisk demonstrasjon: En modell i grenseland mellom forskningsfronten og produksjonssystemer kan dele arbeidet mellom noen få bordhøye maskiner over en Thunderbolt-kabel. Om det blir en praktisk vei for lokal inferens i frontskala, eller en imponerende benchmark uten bredere anvendelse, gjenstår å se.