Multimodale AI: hoe een model beeld, document en geluid leest

Je denkt waarschijnlijk dat een taalmodel alleen tekst kan lezen, en dat een foto, een PDF of een ingesproken bericht eerst door een los programma in woorden moet worden gezet voordat het model er iets mee kan. Of juist het omgekeerde: dat het model met een soort oog naar je plaatje kijkt en met een oor naar je opname luistert, zoals jij. Allebei mis. Het echte antwoord is vreemder, en eenvoudiger: het model maakt van alles wat je erin stopt hetzelfde soort brokjes, en doet daar maar een ding mee.

Je maakt met je telefoon een foto van een papieren factuur en vraagt: welke bedragen staan hier, en wat is het totaal? Er komt geen apart leesprogramma aan te pas. Het model knipt je foto in een raster van kleine vierkante blokjes, maakt van elk blokje een token, en zet die in dezelfde rij als de woorden van je vraag.

Kijk wat er met je factuur gebeurt voordat het model ook maar een woord teruggeeft:

Dat is multimodale AI: een model dat niet alleen tekst, maar ook beeld, documenten, geluid en zelfs video als invoer aanneemt, doordat het elke soort invoer eerst in tokens omzet. Elke modaliteit heeft daarvoor zijn eigen vertaler, een encoder. Maar zodra de invoer eenmaal token is, valt het onderscheid weg: een beeld-token ligt in dezelfde rij als een woord-token, en het model blijft hetzelfde doen, het volgende token voorspellen.

Die twee stappen leunen op lessen die je misschien al kent: dat een token het stukje is dat een model echt verwerkt, en dat een model niets anders doet dan het volgende token voorspellen. Multimodaal betekent alleen dat die tokens nu ook uit een plaatje, een geluidsgolf of een pagina kunnen komen. En de vraag waar deze les om draait is precies die ene: hoe wordt beeld, een document, geluid of video eigenlijk een token?

Zo wordt een beeld een stapel tokens

Een afbeelding is voor het model geen los plaatje, maar een stapel tokens, en die tellen gewoon mee. Bij Claude is de rekenregel eenvoudig: het model kijkt in patches van 28 bij 28 pixels, dus een afbeelding kost ongeveer breedte gedeeld door 28, maal hoogte gedeeld door 28. Een scan van 1000 bij 1000 pixels is zo 36 maal 36, oftewel 1.296 tokens; een schermafbeelding van 1920 bij 1080 kost er op Claude Opus 4.8 al 2.691.

Andere modellen rekenen anders, maar het patroon is hetzelfde. Google Gemini telt 258 tokens per tegel: een klein beeld tot 384 pixels is een tegel, grotere beelden worden in meerdere tegels opgeknipt, dus een frame van 960 bij 540 komt op zes tegels, ongeveer 1.548 tokens. OpenAI's GPT-5.6 dekt een beeld met patches van 32 bij 32 pixels, waardoor een afbeelding van 1024 bij 1024 op zo'n 1.024 tokens uitkomt.

Reken dat door en je ziet het meteen: een paar foto's vullen je contextvenster net zo hard als een lap tekst, en ze tikken net zo goed aan op de rekening. Wie tien facturen tegelijk aan een model voert, stuurt er zomaar meer dan tienduizend tokens aan beeld doorheen. Beeld is het meest concrete voorbeeld, want je kunt de patches bijna letterlijk aanwijzen. Bij een document, geluid en video gebeurt precies hetzelfde, alleen minder zichtbaar.

En een document, geluid of video dan?

Hetzelfde idee, alleen met een andere encoder per soort invoer. Drie die je in de praktijk het vaakst tegenkomt.

Een PDF of scan gaat niet door een simpele tekstherkenner. Het model doet twee dingen tegelijk: het pakt de tekstlaag die al in het bestand zit, en het zet elke pagina ook om in een afbeelding, zodat het de tabellen, grafieken en lay-out echt ziet in plaats van er een platte letterbrij van te maken. Een digitale PDF levert dus goedkope tekst-tokens plus duurdere pagina-beeld-tokens; een scan zonder tekstlaag valt helemaal terug op beeld, alsof je een foto van elke bladzijde maakt. Dat verschil is groot: alleen de tekst uit een PDF van drie pagina's is ongeveer duizend tokens, maar met de visuele laag erbij loopt diezelfde PDF op naar zo'n zevenduizend. De reden dat het zo gebouwd is: een tabel of grafiek is als kale tekst betekenisloos, dus het model moet de pagina zien om hem te snappen.

Geluid is een golf, en daar kan het model niet rechtstreeks mee rekenen. Een audio-encoder knipt die golf in korte stukjes van een fractie van een seconde en maakt van elk stukje een token, ongeveer zoals de beeld-encoder een foto in patches knipt. Bij Gemini kost dat zo'n 32 tokens per seconde, dus een opname van een minuut is ongeveer 1.920 tokens. Zodra die geluid-tokens in de rij staan, kan het model de opname uitschrijven, samenvatten of horen wie er aan het woord is, met dezelfde volgende-token-truc.

Video is het duurst, want video is beeld en geluid tegelijk, uitgesmeerd over de tijd. Het model bekijkt niet elk beeldje: het pakt er ongeveer een frame per seconde uit, verandert dat frame in beeld-tokens net als een foto, en tokeniseert daarnaast de audiotrack. Samen is dat bij Gemini zo'n 300 tokens per seconde, dus een filmpje van een minuut is al gauw 18.000 tokens. Daarom vult video je contextvenster razendsnel, en werk je bij lange video's beter met korte fragmenten dan met een heel bestand.

Zie je het patroon? Tekst gaat door een tokenizer, beeld door een patch-encoder, geluid door een audio-encoder, en video door allebei tegelijk. Vier verschillende deuren, maar erachter dezelfde gang: tokens op een rij, en het model dat het volgende token voorspelt.

Ziet het model dan echt wat er staat?

Nee, niet zoals jij. Er is geen oog, geen oor en geen begrip van 'een factuur' of 'een liedje'. De encoder vertaalt de patches of de geluidsstukjes naar tokens, en daarna herkent hetzelfde taalmodel er patronen in die het in zijn training zo vaak zag. Dat werkt verbluffend goed bij een scherpe scan of een heldere opname. Maar bij een wazige foto, een klein lettertype, handschrift, een rommelige lay-out of een gedempte opname kan het er stevig naast zitten en toch een zelfverzekerd antwoord geven, net zoals het bij tekst dingen kan verzinnen. Een bedrag of een citaat dat ertoe doet, controleer je dus altijd zelf.

Een foto lezen is niet hetzelfde als een foto maken

Hier gaat het het vaakst mis. Bijna alle multimodale modellen nemen beeld, een document of geluid aan als invoer, maar schrijven tekst uit. Een afbeelding of een stem laten genereren is meestal een heel ander model of een aparte modus. Verwar 'kan een afbeelding lezen' dus niet met 'kan een afbeelding maken'. En let op: niet elk model neemt elke modaliteit aan. Beeld is overal invoer, maar audio en video als directe invoer zijn voorlopig vooral het terrein van Gemini.

Claude leest beeld en PDF, maar maakt zelf geen beeld. GPT-5.6 leest beeld; wil je er een laten maken, dan doet een apart beeldmodel dat, gpt-image-2, en audio loopt bij OpenAI via een aparte spraakmodus. Gemini 3.x is van huis uit het breedst en neemt als enige van de drie ook audio en video rechtstreeks aan. Zo zie je meteen dat 'multimodaal' geen keurmerk is met een vaste betekenis: het hangt per model af welke deuren openstaan.

Dat alles bij elkaar maakt documenten, scans, foto's van bonnen, screenshots, grafieken, diagrammen en opnames tot eersteklas invoer. Het is de basis onder documentverwerking: je hoeft een factuur niet meer over te typen, je geeft hem gewoon aan het model. Maar het blijft geen perfecte overname. Kleine lettertjes, lage resolutie, handschrift, een ingewikkelde lay-out of ruis op een opname kunnen misgaan, en het model kan een veld verkeerd overnemen. Zet er dus altijd een controle op de waarden die ertoe doen.

Multimodaal betekent niet dat het model is gaan zien of horen. Het betekent dat beeld, tekst, documenten, geluid en video allemaal tot hetzelfde soort token worden gemaakt, elk via hun eigen encoder, zodat een model je vraag en je bijgevoegde screenshot, PDF of opname in een adem kan verwerken. Dezelfde truc, alleen nu met meer soorten invoer. En precies daarom blijft die ene menselijke stap staan: het bedrag, het citaat of het cijfer dat telt, controleer je zelf.