Drama 3 med åpne vekter slår ElevenLabs på uttale, ifølge benchmark
En 35 milliarder parametre stor tekst-til-tale-modell med åpne vekter rangeres nå foran ElevenLabs på uttale-robusthet, ifølge tall fra benchmark-firmaet Artificial Analysis gjengitt av sekundærkilder. Med gratis lisens under en halv million dollar i omsetning og regisseringsfunksjoner rettet mot produksjon flytter utgivelsen sammenligningsgrunnlaget for utviklere som velger stemmemodell – men store deler av funksjons- og forretningshistorien hviler fortsatt på selskapets egne oppgivelser.
Nyheten: åpne vekter på toppen av uttalebenchmark
Fish Audio lanserte Drama 3 Preview 13. oktober med full modellvekt publisert på Hugging Face. Ifølge rapportering i Startup Fortune plasserer Artificial Analysis – det uavhengige benchmark-firmaet bak Speech Arena-ledertavlen – Drama 3 Preview som nummer én blant open-weights-modeller på sin Text to Speech-ledertavle.
Mere slående er den andre rangeringen: på den separate Pronunciation Robustness-benchmarken skal Drama 3 lede alle modeller, åpne som lukkede, med 93,2 prosent – foran både Eleven v4 og Eleven v4 Turbo fra markedslederen ElevenLabs. Det er uvanlig, fordi lukkede kommersielle stemmemodeller normalt ligger i tet på slike ledertavler. Tallene er attribuert Artificial Analysis via Startup Fortune, som alene ikke utgjør primærdokumentasjon: verken selve ledertavlen, metodikken eller modellkortet foreligger i dekningen. ElevenLabs har ikke kommentert.
Uttale-robusthet er en målbar dimensjon som betyr noe i praksis – navn, fremmedord og tall som uttales riktig på første forsøk – og er dermed et av de punktene der en åpen modell kan slå et lukket alternativ på noe konkret, ikke bare på pris.
Hvordan modellen er bygget
Drama 3 er en mixture-of-experts-modell med 35 milliarder parametre totalt, men aktiverer bare 3 milliarder per token. Det er dette oppsettet som gjør at modellen, ifølge rapporteringen, kan kjøre raskt nok til sanntidsbruk til tross for størrelsen: kun en brøkdel av nettverket brukes per genereringstrinn, mens total kapasitet er tilgjengelig på tvers av inndataene.
Modellen dekker 83 språk og er, ifølge Startup Fortune, bygget spesifikt for flerskarakter-scener og langlyd – arbeidstyper som tidligere har krevd at man limer sammen separate klipp med én stemme hver. Generering av en hel scene med flere talere i én gjennomkjøring er derfor plassert som en kjernefunksjon, ikke et tillegg.
Det skal understrekes at de detaljerte arkitekturspesifikasjonene for Drama 3 ikke er offentliggjort. Unite.AI påpeker i sin dekning at man ikke kan overføre benchmark-resultater fra Fish Audios tidligere S2-modell til Drama 3, siden arkitekturen ikke er dokumentert tilstrekkelig i lanseringsmaterialet.
Lisens: gratis under en halv million dollar
Vektene er utgitt under Fish Audio Community License v1.0. Lisensen koster ingenting frem til et selskap passerer 500 000 dollar i årsomsetning. Over terskelen, og for hostet videresalg av tjenesten, kreves betalt lisens.
Det er denne kombinasjonen – topplassering på en rapportert benchmark og en inntektsterskel i stedet for per-API-prising – som gjør Drama 3 aktuell for små aktører: en podkaststudio, en spillutvikler eller en lydbokprodusent under terskelen kan kjøre modellen selv uten lisenskostnad, og beholder kontrollen over inferens-stakken.
Funksjonene: regissering fremfor generering
I lanseringskunngjøringen, gjengitt av Unite.AI, rammesetter Fish Audios medgründer og administrerende direktør Rissa Cao utgivelsen slik: «Stemme-AI har blitt veldig god til å generere tale. Neste steg er å regissere en framføring.»
Funksjonene bak retorikken, som beskrives fra forhåndsvisningssiden via Unite.AI:
- Regissering i naturlig språk: skapere kan styre framføringen med vanlig språk i stedet for håndtering av bølgeformer.
- Kontroller i teksten: brukere kan plassere regianvisninger, lyder og pauser i firkantparenteser, eller bruke parede tagger rundt utvalgte ord – konkrete mekanismer beskrevet fra selve forhåndsvisningssiden.
- Flerspeaker-scener i én pass: hele dialogscener genereres i én gjennomkjøring i stedet for klippvis.
- Audio-inpainting: et valgt segment av syntetisert tale kan genereres på nytt uten å regenerere framføringen rundt.
Inpainting-funksjonen er imidlertid der kildene begynner å gå fra hverandre. Unite.AI behandler redigering av enkeltord som en hovedkapabilitet ved lanseringen. Startup Fortune oppgir derimot at single-word inpainting fortsatt er i invitasjonsbasert testing, med et offentlig redigerings-API planlagt. Statusen er dermed uavklart i dekningen, og det finnes ingen uavhengig evaluering av hvor pålitelig slike enkeltordsreparasjoner er på tvers av stemmer, aksenter eller vanskelige overganger – det påpeker Unite.AI selv i sin redaksjonelle vurdering av lanseringsmaterialet.
Selskapet bak: seed-kapital og egne nøkkeltall
Fish Audio samlet inn 52 millioner dollar i en seed-runde i juli, ledet av Coreline Ventures og Capital Today. Selskapet vokste ut av Fish Speech, et av de mest stjernede åpen kildekode-prosjektene innen stemme på GitHub, for rundt et år siden.
Selskapet oppgir selv 21 millioner dollar i årlig gjentagende inntekt og over 8 millioner brukere. Disse tallene er Fish Audios egne oppgivelser og foreligger ikke uavhengig verifisert.
Hva som mangler
Flere deler av historien hviler på sekundærkilder og selskapets egne tall:
- Benchmark-metodikk. Pronunciation Robustness-benchmarkens metodikk er ikke beskrevet i dekningen. Lesere vet derfor ikke hva 93,2 prosent måles over, eller hvordan. Sammenligningen med ElevenLabs hviler på Artificial Analysis' tall via én rapporteringskjede, ikke på primærdokumentasjon.
- ElevenLabs' respons. Ingen av dekningskildene gjengir noen reaksjon fra ElevenLabs.
- Inpainting-status. Uenigheten mellom kildene om funksjonen er lansert eller i invitasjonstesting er ikke løst.
- Arkitektur. Modellkort og arkitekturdetaljer for Drama 3 er ikke offentliggjort i dekningen, noe som begrenser hvor mye tidligere resultatfremstilling fra Fish Audio kan overføres.
Disse hulrommene er samtidig grunnlaget for oppfølging: en primærkildekontroll av ledertavlen og lisensvilkårene, og uavhengig evaluering av inpainting-kvaliteten, ville avgjøre hvor mye av løftet som holder.
Hvorfor det betyr noe
Utgivelsen er interessant uansett hvordan de uavklarte detaljene faller ut. Dersom Artificial Analysis' rangeringer stemmer, viser den at åpne vekter kan lede på en målbar kvalitetsdimensjon mot et lukket markedslederprodukt – ikke bare konkurrere på pris og kontroll. Lisensmodellen med en flat inntektsterskel senker terskelen for små aktører til å prøve, og de produksjonsrettede funksjonene – regissering, scener i én pass, inpainting – peker mot at konkurransefaren i stemmemodeller flytter seg fra rå genereringskvalitet til arbeidsflyten rundt den. Foreløpig er det imidlertid i stor grad selskapets egne påstander som beskriver den arbeidsflyten.