PrismML propt een 27B-redeneermodel in 4 GB op je iPhone

PrismML, een spin-off van Caltech, heeft een open redeneermodel van 27 miljard parameters teruggebracht van 54 naar minder dan 4 gigabyte, klein genoeg om zonder cloud op een iPhone te draaien. Het model, Bonsai 27B, kwam op 14 juli 2026 uit en houdt naar eigen zeggen 90 tot 95 procent van de oorspronkelijke prestaties over.

Voor een Nederlands bedrijf verschuift dat de rekensom onder AI. Een volwaardig redeneermodel dat lokaal op een telefoon of laptop draait, stuurt geen enkele prompt naar een externe API: je data blijft op het apparaat, er is geen tokenrekening, en het werkt ook zonder internet. Tot nu toe betekende AI op je eigen hardware kiezen voor een klein, beperkt model. Bonsai laat zien dat ook een groter redeneermodel binnen die grens past.

Wat PrismML precies heeft gedaan

Bonsai 27B is een gecomprimeerde versie van Alibaba's Qwen3.6-27B. In plaats van de gebruikelijke 16 bits per gewicht gebruikt PrismML een agressieve 1- tot 2-bits quantisatie, waardoor het model van ongeveer 54 gigabyte naar 5,9 gigabyte (laptopvariant) en 3,9 gigabyte (telefoonvariant) krimpt. De gewichten staan open onder een Apache 2.0-licentie, dus je mag het model zelf draaien en aanpassen.

De prijs van die compressie valt mee. De grotere variant houdt zo'n 95 procent van de oorspronkelijke prestaties over, de kleinste variant rond de 90 procent, en op wiskunde en programmeren is het verschil vrijwel niet te merken. Waar het model wel terrein verliest, is beeldbegrip, het opvolgen van instructies en agent-achtig gereedschapsgebruik.

Op een iPhone 17 Pro Max haalt Bonsai ongeveer 11 tokens per seconde en zo'n 67.000 tokens op een volle accu, genoeg voor echt werk in plaats van een demo. Volgens PrismML draait het model op elke iPhone 15 of nieuwer.

Waarom lokale AI de rekensom verandert

Voor bedrijven die met persoonsgegevens of vertrouwelijke documenten werken, is dat lokale karakter het echte punt. Een model dat op het apparaat blijft, stuurt niets naar een server in een ander rechtsgebied, en dat scheelt zowel een cloudrekening als een privacyvraag. Liquid AI liet eerder al zien dat een taalmodel van 230 miljoen parameters op een telefoon zonder internet data kan uitlezen, maar dat model is bewust klein en beperkt in wat het kan. Het nieuwe aan Bonsai is dat het om een volwaardig redeneermodel gaat, dat meerstaps kan nadenken en gereedschap kan aansturen.

Dat maakt on-device AI voor het eerst bruikbaar voor het soort taken waar je nu nog een cloud-API voor huurt: een document samenvatten, een berekening controleren, code schrijven. Wie zulke taken lokaal draait, betaalt niet per token en houdt de gegevens binnen de eigen muren.

Apple kijkt mee

De aankondiging valt niet los te zien van Apple. PrismML-topman Babak Hassibi zei tegenover CNBC dat Apple de compressietechniek nu actief test op snelheid, energieverbruik en prestaties, al noemt hij de gesprekken pril: het "vordert netjes", maar het is een vroege fase. Apple bracht een dag voor de release, op 13 juli, de eerste publieke bèta van iOS 27 uit, gebouwd rond een vernieuwde Siri AI. Apple zelf wilde niet reageren.

De grotere beweging is dat de grens tussen cloud-AI en AI op je eigen apparaat aan het vervagen is. Waar zwaar redeneerwerk tot voor kort een datacenter vereiste, past het nu op hardware die je al in je zak hebt. Voor bedrijven die twijfelen tussen een maandelijkse API-rekening en volledige controle over hun eigen data, wordt zelf draaien een steeds serieuzer alternatief, en niet langer alleen voor de kleinste modellen.