ByteDance traint volgens de FT een model van maximaal 10 biljoen parameters

ByteDance traint een AI-model met maximaal 10 biljoen parameters, meldt de Financial Times op basis van ingewijden, waarmee het Chinese concern in de buurt komt van de geschatte omvang van Anthropics Mythos.

Het project zit in een vroege fase van pre-training en het definitieve aantal parameters ligt nog niet vast. ByteDance zelf heeft niets bevestigd en wilde niet reageren.

Voor een Nederlands bedrijf dat zijn modelkeuze bewust spreidt, verandert er deze maand niets. Pre-training duurt gewoonlijk drie tot zes maanden, en daarna volgen nog afstemming en een release. Wat wel verschuift is waar je shortlist voor volgend jaar vandaan komt: het grootste taalmodel dat op dit moment in aanbouw is, wordt volgens deze berichtgeving niet in Californië getraind maar in China.

Wat er over de omvang bekend is

Tien biljoen parameters is een bovengrens, geen bevestigd eindpunt. De uiteindelijke omvang is nog niet gekozen en kan tijdens het traject nog veranderen.

Ter vergelijking: het model zou ruim drie keer zo groot worden als Kimi K3 van Moonshot, dat met 2,8 biljoen parameters het grootste open-weight model ter wereld is. Anthropic maakt de omvang van zijn eigen modellen niet openbaar. De industrie schat Mythos 5 op ongeveer 8 biljoen parameters en Fable 5 op ongeveer 5 biljoen.

Daarbij hoort een kanttekening die in de koppen wegvalt. Een parameteraantal meet omvang, niet kwaliteit. Het zegt iets over de ambitie en over de rekenkracht die een bedrijf bereid is te verbranden, niet over hoe het model straks scoort op benchmarks of wat het per miljoen tokens gaat kosten. Die cijfers bestaan nog niet.

Wie het bouwt

Het werk ligt bij Seed, de AI-eenheid die ByteDance begin 2023 oprichtte. Volgens de FT werken er inmiddels zo'n 2.000 mensen, van onderzoekers tot infrastructuur-engineers, dataspecialisten en vertalers, in China en daarbuiten. Aan het hoofd staat Wu Yonghui, voorheen vicepresident bij Google DeepMind.

Oprichter Zhang Yiming zit er dicht bovenop. Hij besteedt naar schatting de helft van zijn tijd aan Seed, de eenheid waar ByteDance het grootste deel van zijn mankracht, rekenkracht en budget in stopt. De gedachte erachter is dat het model uiteindelijk de gemeenschappelijke onderlaag wordt waarop alle producten draaien, zoals het aanbevelingsalgoritme dat eerder was voor TikTok en Douyin.

Zelf bouwen in plaats van distilleren

Seed kiest er al ruim een jaar voor om modellen zelfstandig te ontwikkelen in plaats van ze te distilleren uit het werk van andere labs. Distillatie is het trainen van een kleiner model op de uitvoer van een groter model: een goedkope route naar prestaties, en volgens de FT een verklaring waarom Seed lange tijd trager oogde dan de concurrentie. Zhang Yiming noemt eigen ontwikkeling de enige weg naar modelcapaciteiten van wereldniveau.

Die keuze is niet alleen technisch. Het Witte Huis beschuldigde Moonshot er in juli openlijk van dat het Kimi K3 bouwde door Anthropics Fable-model te distilleren, en dat verwijt is de onderbouwing geworden onder Amerikaanse plannen om Chinese modellen per stuk te beperken. Een model waarvan de maker kan volhouden dat het zonder distillatie is getraind, is op precies dat punt lastiger aan te vallen.

Waar dit heen wijst

In Nederland is ByteDance vooral bekend van TikTok, maar het bedrijf levert al langer AI-modellen. Eind juni bracht het Seedance 2.5 uit, dat in één take realistische video van 30 seconden genereert. Een taalmodel op frontier-schaal zou de logische volgende stap zijn, en het zou het eerste zijn dat een Chinees bedrijf openlijk boven de gesloten Amerikaanse modellen probeert te tillen in plaats van ernaast.

Dat past in een lijn die dit jaar snel is getrokken. Eind juni kwamen zes van de tien populairste modellen op een veelgevolgde ranglijst uit China, na een Amerikaans exportbevel dat precies het tegenovergestelde beoogde. Wat er nu bijkomt is schaal.

De vraag die daarboven hangt gaat alleen niet over parameters, maar over toegang. Kimi K3 kwam met open gewichten, Qwen 3.8 verscheen eerst als betaalde preview, en Peking weegt al maanden of het de buitenlandse toegang tot de beste Chinese modellen wil beperken. Of het grootste model in aanbouw straks bruikbaar is vanuit Nederland, is dus een andere vraag dan of het gebouwd wordt. Op die eerste vraag is nog geen antwoord gegeven.