Fish Audio regisseert AI-stemmen met Drama 3

Fish Audio brengt Drama 3 uit, een TTS-model waarmee makers AI-stemmen met tekstaanwijzingen per woord en midden in zinnen regisseren; het is sinds 13 oktober beschikbaar.

Een content- of serviceteam kan in het script aangeven waar een stem fluistert, aarzelt of lacht. Fish Audio zet de API tot 12 november op $10 per miljoen tekens, tegenover een catalogusprijs van $50. Honderdduizend tekens kosten dan tijdelijk $1. Dat tarief geldt voor Fish Audio’s gehoste API; zelf draaien en een eigen TTS-dienst aanbieden vallen onder andere licentieregels.

Aanwijzingen sturen de uitvoering

Drama 3 gebruikt tekstaanwijzingen om voordracht te sturen. Een script kan bijvoorbeeld aangeven waar een stem moet fluisteren, waar een lach valt of waar de emotie halverwege een zin omslaat. De maker kan de aanwijzingen in gewone taal schrijven, ook als die taal verschilt van de gesproken tekst. Fish Audio noemt 83 ondersteunde talen en positioneert het model voor onder meer audioboeken, podcasts, nasynchronisatie, games en korte video.

Voor ontwikkelaars verandert de koppeling niet volledig: Drama 3 gebruikt hetzelfde API-eindpunt als S2.1 Pro. In een bestaande Fish Audio-integratie is volgens de documentatie een andere modelheader nodig. De gewichten staan op Hugging Face en zijn te draaien met SGLang-Omni. De modelkaart noemt 35 miljard parameters, waarvan er per token ongeveer 3 miljard actief zijn. Fish Audio toont een prestatietest op één NVIDIA H200, maar vermeldt dat niet als minimale hardware-eis. De bron geeft dus geen vaste kostprijs voor zelf draaien.

De uitspraakscore meet Engels

In de scorekaart die Fish Audio bij de lancering deelt, staat Drama 3 Preview op 93,2 procent voor uitspraakrobuustheid. Fish Audio vergelijkt dat met 88,1 procent voor S2.1 Pro. De grootste verschillen zitten bij exacte reeksen zoals codes, bestandspaden en e-mailadressen: 86,3 tegenover 79,4 procent. Bij getallen, datums en eenheden is het verschil kleiner, 93,6 tegenover 92,7 procent.

Artificial Analysis beschrijft de benchmark als een vaste reeks Engelstalige uitdagingzinnen met een vooraf gekozen Amerikaanse stem. Beoordelaars zien de modelnamen niet en controleren gemarkeerde woorden, waaronder merknamen, contextgevoelige termen en codes. De score zegt dus iets over uitspraak van zulke Engelse passages. Hij meet geen Nederlandse productnamen en vergelijkt ook niet hoe overtuigend een emotionele voordracht klinkt. De lancering noemt 83 talen, maar de gepubliceerde scorekaart toont geen Nederlandse meting.

De prijs hangt af van de route

Fish Audio bood eerder S2.1 Pro als gratis API aan. De actuele prijstabel noemt S2.1 Pro Free nog steeds voor $0 per miljoen UTF-8-bytes. Dat is een afzonderlijke gehoste API voor een ander model. De eenheid verschilt ook: Drama 3 wordt in de aankondiging per miljoen tekens geprijsd, S2.1 Pro Free per miljoen bytes.

Google biedt met Gemini 3.8 Flash TTS eveneens stemontwerp via tekstprompts en regie van dialoog per regel. Voor Nederlandse teams is ook Googles EER-beperking op stemreplicatie in AI Studio relevant. Microsoft bracht MAI-Voice-2.1 en Flash naast streamingtranscriptie uit als bouwstenen voor spraakagenten; de eigen modelpagina noemt Nederlands en tarieven van $22 voor Voice-2.1 en $15 voor Flash per miljoen tekens. Tijdens de korting van Fish Audio ligt Drama 3 onder die twee API-tarieven. Na 12 november is de genoemde lijstprijs van $50 juist hoger. De bedragen vergelijken geen gelijke stemkwaliteit of dienstverlening.

De licentie begrenst commercieel gebruik

De Fish Audio Community License v1.0 staat gratis commercieel gebruik van de gewichten toe zolang de jaaromzet van de gebruiker en gelieerde entiteiten samen onder $500.000 blijft. De licentie telt daarvoor alle inkomsten over de voorafgaande twaalf maanden mee. Wie de gewichten bij een klant installeert of voor diens interne systemen beheert, moet ook rekening houden met de omzetgrens voor die klant. Een bureau dat alleen zelf gegenereerde audiobestanden aan een klant levert, valt volgens de licentie onder een uitzondering.

Een eigen gehoste dienst valt buiten die gratis gebruiksruimte, ongeacht de omzet. De licentie rekent daar ook een API, website of app onder waarmee anderen zelf spraak uit tekst of stemmateriaal kunnen genereren. Daarvoor is een aparte schriftelijke overeenkomst nodig. De licentie verbiedt bovendien het nabootsen van een herkenbare echte stem zonder toestemming. Op de Hugging Face-modelpagina staat bij de metadata nog het label fish-audio-research-license, terwijl de LICENSE-file en Fish Audio’s aankondiging de Community License v1.0 noemen.

De persrelease noemt audio-inpainting als functie, waarmee een deel van een opname opnieuw kan worden gegenereerd. Fish Audio schrijft in de eigen productblog dat interactieve bewerking en audio-inpainting nog in kleine tests op uitnodiging zitten; een bewerkings-API komt later. De aanwijzingen voor stemregie zijn beschikbaar, maar de fijnmazige nabewerking is nog niet voor iedereen open.

De verschuiving in stem-AI zit in de combinatie van preciezere regie en meerdere routes naar productie: een gehoste API, eigen gewichten en een licentie voor doorverkoop. Dat maakt de prijs per teken maar één deel van de afweging. De openbare uitspraakbenchmark is Engelstalig en de commerciële voorwaarden hangen af van hoe het model wordt ingezet. Fish Audio heeft geen algemene datum genoemd voor de uitrol van audio-inpainting.