Mistral lanceert Voxtral 3 voor realtime spraakagenten

Mistral lanceert Voxtral 3, een stack met spraakmodellen en een agent-SDK voor realtime gesprekken via een EU-gehoste API of eigen infrastructuur, meldt het bedrijf op 20 oktober.

Voor Nederlandse serviceorganisaties komt daarmee de plek van audioverwerking op tafel. Per onderdeel moeten taal, reactietijd en bewaartermijn passen bij het gesprek dat je wilt automatiseren.

De agent stapelt herkenning, stem en tools

Voxtral 3 bestaat uit modellen voor transcriptie en spraakuitvoer, plus een SDK die luisteren, redeneren en toolgebruik in één gespreksstroom samenbrengt. The Decoder meldt dat de SDK op LiveKit is gebaseerd. Mistral laat in een demonstratie een Engelstalige beller een Franse verwijsbrief voorlezen. De agent vraagt om een referentienummer, haalt de verwijsinformatie op, boekt na toestemming een afspraak en bevestigt die in het Engels. Het blijft een demonstratie, geen implementatieverslag.

De taaldekking verschilt per onderdeel. Mistrals documentatie noemt 50 talen voor transcriptie van opgenomen audio, 45 talen en dialecten voor realtime transcriptie en 35 talen voor tekst-naar-spraak (TTS), plus meer dan 50 dialecten voor spraakuitvoer. Nederlands staat in de taalset van de realtime benchmark. De documentatie behandelt vertaling apart: audio-in-chat kan een gesproken verzoek naar tekst vertalen, maar dat is geen realtime spraak-naar-spraakvertaler.

De vertraging is instelbaar

Voxtral Realtime Transcribe 3 stuurt tekst via een WebSocket terwijl audio binnenkomt en laat de streamvertraging instellen van 80 tot 2.400 milliseconden. Het endpoint biedt sprekerherkenning, een woordenlijst voor namen en vaktermen en detectie van het einde van een spreekbeurt. De technische documentatie noemt 480 milliseconden als aanbevolen startwaarde: langer wachten geeft het model meer context en doorgaans nauwkeuriger tekst.

Voor een telefonische agent is dat een concrete afweging. Mistrals eigen FLEURS-test over 35 talen laat een woordfoutpercentage van 7,4 procent zien bij 240 milliseconden, tegenover 5,7 procent bij 2.400 milliseconden. Nederlands zit in de test, maar Mistral publiceert geen afzonderlijke Nederlandse score. De cijfers komen bovendien niet uit klantgesprekken met achtergrondgeluid, namen uit een CRM of bellers die elkaar onderbreken.

Er zit ook een beperking in de combinatie van functies. De realtime-API-documentatie zegt dat sprekerherkenning en spreekbeurt-detectie niet tegelijk in dezelfde sessie kunnen worden ingeschakeld. Voor contactcenters die sprekers willen scheiden én snel willen weten wanneer een klant is uitgesproken, bepaalt die keuze hoe de agent met onderbrekingen en meermansgesprekken omgaat.

De factuur gebruikt minuten en tekens

Mistral rekent $0,008 per minuut voor realtime transcriptie, $0,0035 voor Mini-transcriptie van opgenomen audio, $0,004 voor de Small-variant en $13 per miljoen gegenereerde tekens voor spraak. Vijf minuten live transcriptie kost vier dollarcent. Als de agent in dat gesprek ook 500 tekens uitspreekt, kost de spraakuitvoer 0,65 dollarcent. Samen is dat $0,0465, vóór redenering, toolaanroepen, telefonie en koppelingen.

Microsoft biedt een bruikbare vergelijking voor transcriptie: MAI-Transcribe-2-Streaming kost tijdens de introductie $0,54 per audio-uur tot eind 2026, terwijl Mistrals tarief neerkomt op $0,48 per uur. Microsoft noemt $15 per miljoen tekens voor zijn Flash-spraakmodel. De prijzen liggen dicht bij elkaar, maar zeggen niets over gelijke foutmarges, taalprestaties of volledige gesprekskosten. De MAI-modellen koppelen transcriptie in 60 talen aan spraakuitvoer in 23 talen.

Google koos een meer geïntegreerd audio-naar-audio-model. Google zegt dat Gemini 3.8 Live tussen 97 talen schakelt en tools op de achtergrond aanroept. Voor Gemini Live rekent Google $0,005 per minuut inkomende audio en $0,018 uitgaande audio, samen $1,38 per uur als beide stromen lopen. Dat is een andere rekeneenheid dan Mistrals losse transcriptie- en TTS-tarieven. De Gemini 3.8 Live-release combineert 97 talen met achtergrondtaken.

EU-hosting lost niet elke vraag op

Mistral zegt dat organisaties kunnen kiezen tussen de EU-gehoste API en inzet op eigen infrastructuur, met controle over de verwerkingslocatie en of gesprekken worden bewaard. De nieuwe audio-endpoints staan op Public Preview; de modelkaart voor Voxtral Small Transcribe 3 vermeldt die previewstatus. De aankondiging specificeert niet per model welke gewichten of hardware nodig zijn voor zelfdeployment, en de geraadpleegde documentatie noemt geen standaardbewaartermijn voor gesprekken. EU-hosting en zelf draaien zijn verschillende beheerkeuzes, geen vervanging voor controle van voorwaarden rond toegang en retentie.

Ook de Nederlandse spraakuitvoer vraagt verificatie. De taalpagina noemt 35 talen voor TTS, maar Voxtral TTS 3 staat op de modelkaart als beschikbaar in negen talen. De presetlijst toont stemmen in het Engels, Spaans, Italiaans, Duits, Portugees en Arabisch, zonder Nederlandse presetstem. Dat bewijst niet dat Nederlands onmogelijk is, maar de openbare productpagina's geven geen eenduidig antwoord voor een Nederlandstalige agent.

De markt beweegt van transcriptie naar complete livegesprekken. Google en Microsoft koppelen hun spraakmodellen al aan achtergrondtaken of agentsoftware; Mistral voegt daar een eigen SDK en een keuze voor EU-hosting of zelfdeployment aan toe. Voor Nederlandse serviceorganisaties tellen daarom ook welke functies samen kunnen draaien en waar audio terechtkomt. De documentatie maakt die vragen zichtbaar, maar laat antwoorden over TTS en zelfdeployment deels open.