OpenBMB brengt MiniCPM5-2B uit voor lokale AI

MiniCPM5-2B verschijnt op 7 september als model voor lokale AI met 2,52 miljard parameters, meldt OpenBMB, onder de Apache-2.0-licentie en met vrijgegeven trainingsdatasets.

Voor een Nederlands bedrijf is dit geen abstracte modelrelease. Bij een lokaal ingerichte toepassing hoeven prompts en documenten niet via een externe model-API te lopen, terwijl de rekening verschuift naar eigen hardware, beheer en updates. On-device AI wordt daarmee een concrete architectuurkeuze: minder cloudafhankelijkheid, met meer verantwoordelijkheid voor de omgeving waarin het model draait.

Een klein model met een lange context

OpenBMB positioneert MiniCPM5-2B voor lokale assistenten, programmeeragents, gereedschapsgebruik en redeneertaken waarbij een compact model gewenst is. De modelkaart vermeldt 2.516.756.480 parameters, 42 lagen en een contextvenster van 131.072 tokens. De architectuur is standaard LlamaForCausalLM, waardoor gangbare hulpmiddelen het model kunnen laden zonder een eigen modelcode-vertakking.

De release gaat verder dan alleen gewichten. OpenBMB zegt ook datasets uit de UltraData-familie vrij te geven, waaronder UltraData-Code, UltraData-SFT-Agent-2609 met 500.000 agenttrainingsvoorbeelden en UltraData-RL-2609 met meer dan 80.000 voorbeelden voor onder meer wiskunde, code en lang redeneren. Dat maakt de herkomst van een deel van de trainingsaanpak beter controleerbaar, al zegt het niet automatisch iets over de geschiktheid van elk datasetonderdeel voor een specifieke bedrijfsinzet.

Benchmarks zijn een startpunt

In de vergelijking van OpenBMB komt MiniCPM5-2B uit op een gemiddelde score van 53,9 over 34 benchmarkrijen. De release zet die score af tegen modellen met meer parameters. Dat is nuttig als eerste indicatie, maar een benchmark is geen garantie voor een factuurclassificatie, interne zoekvraag of agent die met jouw systemen moet werken.

Een onafhankelijke meting van Artificial Analysis geeft het model 15 punten op de eigen Intelligence Index, het hoogste cijfer in die vergelijking voor open gewichten onder 4 miljard parameters. Diezelfde analyse laat zien waar de grens ligt: op kennis, coderen en sommige langcontexttests staat MiniCPM5-2B minder sterk dan op agenttaken. De relevante test is de taak waarop het model in de eigen omgeving moet slagen. De ranglijst is hooguit een eerste aanwijzing.

De hardwarekeuze verhuist mee

De modelkaart vermeldt Apache-2.0 en varianten voor BF16, FP16, GGUF, MLX en GPTQ. Daardoor ontstaat geen enkel standaardprofiel. Een organisatie met een server-GPU kan een zwaardere variant draaien; een kleiner team kan naar een gequantiseerde variant kijken die minder geheugen vraagt. De keuze voor minder geheugen gaat wel samen met een andere afweging rond snelheid, kwaliteit en beheer.

Ook het contextvenster van 131.072 tokens maakt hardware niet irrelevant. Hoe meer tekst een toepassing tegelijk verwerkt, hoe groter de belasting van geheugen en verwerking kan worden. Voor een Nederlandse ondernemer is de vraag waar het model kan draaien, met welke responstijd en onder welk beheer.

Privacy zonder de cloudillusie

Lokaal draaien kan de gegevensstroom verkorten: vertrouwelijke tekst hoeft niet voor iedere vraag naar een externe aanbieder. Dat beperkt een belangrijke cloudafhankelijkheid, maar lokale AI is niet automatisch privacyvriendelijk. Toegang tot de server, logs, back-ups, modelupdates en de koppelingen met andere systemen blijven onderdeel van de beveiliging en governance.

De release past in de opmars van lokale AI met modellen die al op een telefoon kunnen draaien, maar MiniCPM5-2B mikt op een zwaardere klasse van taken. De verschuiving zit daardoor niet in een simpele keuze tussen cloud en eigen hardware. Ze zit in het koppelen van taak, model, licentie, gegevensstroom en beheer aan elkaar voordat een model productie in gaat.