Lambda hevder over 60 prosent MFU i Llama 3.1-trening på Blackwell
Datasenterleverandøren Lambda presenterer tall som viser modelltrening vesentlig mer effektivt enn det selskapet beskriver som bransjenormal — men alt kommer fra egne markedsføringsmaterialer, og hvitbokens metodikk er ikke offentlig…
Lambda hevder over 60 prosent MFU i Llama 3.1-trening på Blackwell
Datasenterleverandøren Lambda presenterer tall som viser modelltrening vesentlig mer effektivt enn det selskapet beskriver som bransjenormal — men alt kommer fra egne markedsføringsmaterialer, og hvitbokens metodikk er ikke offentlig tilgjengelig for vurdering.
Lambda har publisert en hvitbok med benchmarks som selskapet hevder viser modelltrening vesentlig mer effektivt enn bransjenormalen. Tunge forbehold gjelder: Tallene er hentet fra Lambdas egen markedsføringsside for hvitboken, som ligger bak et nedlastingskjema, og ingen uavhengig verifikasjon foreligger i det tilgjengelige kildematerialet (1938d4a1).
Hva Lambda faktisk hevder
Kjernen i påstanden gjelder MFU — «model FLOPs utilization» — et mål på hvor stor andel av en GPU-akselerators teoretiske regnekapasitet som faktisk utnyttes under trening. Ifølge Lambda opererer de fleste storskala-treninger på 35–45 prosent MFU, godt under maskinvarens potensial. Selskapets egne benchmarks av Llama 3.1-modeller fra 8 milliarder til 405 milliarder parametere på NVIDIAs Blackwell-GPU-er skal ha gitt MFU over 60 prosent (1938d4a1). Satt opp mot bransjebaselinjen Lambda selv beskriver, vil det tilsvare en relativ forbedring på minst om lag en tredjedel — men dette er AIMags egen regneøvelse, ikke et tall Lambda oppgir.
Det mest konkrete enkelttallet er en MFU-forbedring på 2,11x for Llama 70B på 16x NVIDIA HGX B200 (1938d4a1). Lambda hevder videre at resultatene er oppnådd uten arkitektendringer, og at hver konfigurasjon er fullt dokumentert og gjentakbar (1938d4a1).
Hvorfor MFU betyr noe
MFU er et meningsfullt effektivitetsmål fordi GPU-tid er blant de største kostnadspostene i modelltrening. En trening som utnytter 60 prosent av maskinvarens regnekapasitet, krever vesentlig færre GPU-timer — og dermed lavere kostnad og kortere ventetid — enn en som ligger på 40 prosent, gitt samme modell og datasett. Derfor brukes MFU ofte som sammenligningsgrunnlag mellom treningsoppsett og mellom operatører av GPU-klynger.
Forskjellen Lambda antyder er betydelig hvis den holder: En forbedring fra 35–45 til over 60 prosent MFU betyr i praksis at samme maskinvare kan levere mer trening per tidsenhet. Slike tall fungerer også som et salgsargument for selskaper som tilbyr GPU-kapasitet — hvilket er en del av hvorfor de bør leses med varsomhet.
Hva som gjenstår å vise
Kildematerialet gir ikke tilgang til hvitbokens metodikk, verken benchmarkoppsett, målemetode eller sammenligningsgrunnlag for 2,11x-tallet. Det er heller ikke kjent når hvitboken ble publisert. Ingen tredjepart har i kildematerialet replikert tallene.
Det som ville gjort påstandene mer troverdige, er konkret: at metodikken og konfigurasjonene blir tilgjengeliggjort for ekstern vurdering, at uavhengige operatører gjentar benchmarks med samme resultater, og at andre aktører publiserer sammenlignbare MFU-tall for Llama 3.1 på Blackwell-maskinvare. Lambdas påstand om «fullt dokumenterte» konfigurasjoner peker i riktig retning, men dokumentasjon bak et nedlastingskjema er ikke det samme som åpen verifikasjon.
Inntil da står saken som den er: et interessant, men ubekreftet, løfte om betydelig mer effektiv trening på NVIDIAs nyeste maskinvare.