Voor een Nederlandse organisatie verandert daarmee de route voor tekst uit klantprojecten en broncode: de modelaanroep kan op de eigen Mac of Windows-pc blijven, in plaats van naar een cloud-API te gaan. WiCi noemt 24 GB minimumgeheugen en 48 GB aanbevolen voor Muse Spark Open, 16 GB minimum en 48 GB aanbevolen voor DeepSeek, en 520 GB vrije SSD-ruimte voor beide. De werkplek moet dus genoeg opslag hebben en de taak moet het uitvoertempo verdragen.

De SSD krijgt een plek in de inferenceketen
Een Mixture-of-Experts-model gebruikt per stukje tekst maar een deel van zijn expertlagen. InferSSD houdt die gewichten op SSD en leest ze wanneer nodig in RAM of videogeheugen. Muse Spark Open telt 816 miljard parameters, waarvan WiCi er 42 miljard per token actief noemt. Delen voor aandacht, gedeelde lagen en de contextcache blijven werkgeheugen gebruiken.
WiCi noemt voor DeepSeek V4.1 Flash, met 763 miljard parameters, 16 GB minimumgeheugen en 48 GB aanbevolen. Muse Spark Open vraagt minimaal 24 GB, met eveneens 48 GB aanbevolen. Beide modellen vragen 520 GB vrije SSD-ruimte. De geteste MacBook Pro had een M5 Max, 48 GB gedeeld geheugen en 2 TB opslag. De RTX 5060 Ti-test gebruikte 8 GB systeemgeheugen, 16 GB videogeheugen en een SSD van 2 TB.
In LM Studio is de gewone desktoproute een model downloaden en daarna in het geheugen laden. InferSSD richt zich op een specifiek deel van dat probleem: bij MoE-modellen kunnen de experts op de SSD blijven terwijl alleen de actieve delen naar het geheugen gaan.
De app bundelt InferSSD, dat WiCi op 29 oktober al beschreef als route om 800B-modellen op consumenthardware te draaien. DeepSeek’s offline engine voor V4.1-Flash draait op NVIDIA SM100 of Huawei Ascend 950. Voor een complete dienst ontbreekt daarin onder meer de KV-cache, de scheiding tussen prefill en decode en load balancing over replica’s. WiCi biedt nu een desktopapp en lokale API.
Model en computer bepalen de snelheid
WiCi’s technische uitleg geeft 0,944 outputtokens per seconde voor Muse Spark Open en 2,704 voor DeepSeek V4.1 Flash op een MacBook Pro met M5 Max en 48 GB geheugen. Bij 0,944 tokens per seconde duurt het genereren van 300 outputtokens ongeveer vijf minuten, zonder de tijd om de invoer te verwerken of het model te laden.
De productpagina noemt 0,944 en 2,704 tokens per seconde; de repositorytabel noemt 1,097 en 2,874 voor dezelfde Mac en 4K-prompt, en vermeldt dat de engine onder Apache 2.0 valt en modelgewichten hun uitgeverslicentie houden. WiCi publiceert geen toelichting die het verschil tussen de officiële tabellen verklaart.
Op de RTX 5060 Ti kwam Muse Spark Open uit op 0,219 tokens per seconde. Op de RTX 5090 met 32 GB systeemgeheugen en 32 GB videogeheugen was dat 1,520; op de DGX Spark met 128 GB gedeeld geheugen 2,140. DeepSeek V4.1 Flash haalde op de RTX 5090 7,270 tokens per seconde. Elk resultaat komt uit een complete combinatie van model en pc, met meerdere factoren die het tempo beïnvloeden.
De test gebruikt een prompt uit de 4K-categorie en meet decode over outputtokens 129 tot en met 256 van een antwoord van 256 tokens. Model laden telt niet mee. De methodiek vergelijkt complete configuraties en isoleert niet één optimalisatie. De Muse-baseline op de Mac gebruikt bovendien een andere promptlengte en sjabloon. Het blijven WiCi’s eigen resultaten, zonder onafhankelijke prestatietest.
Infer past op een werkplek
WiCi Infer is gratis, vraagt geen account en werkt op Apple Silicon-Macs en Windows-pc’s met x64-processors. Op Linux biedt het bedrijf de InferSSD-opdrachtregelversie aan. De app levert een lokale OpenAI-compatibele API waarmee onder meer Claude Code en OpenCode verbinding kunnen maken. Zo kan bestaande desktopsoftware een model op dezelfde computer aanspreken.
Microsofts serverroute bedient een andere schaal. Windows Server 2028 krijgt in preview een gedeeld endpoint voor meerdere applicaties, maar nog geen gepubliceerde lijst met geteste modellen. WiCi richt zich op een model op de werkplek; Microsoft beschrijft een gedeelde voorziening naast bedrijfsapplicaties. De desktopdemo zegt nog niets over centrale monitoring of gelijktijdig gebruik door een heel team.
WiCi zegt dat de modelaanroep lokaal wordt verwerkt. Dat vertelt niet waar gegevens belanden als een aangesloten toepassing zelf cloudfuncties gebruikt of gesprekken synchroniseert. De productpagina beschrijft geen teamrollen, auditlog, toegangscontrole of bewaarbeleid voor de lokale API. Bij gevoelige bedrijfsinformatie telt daarom de dataroute van de hele toepassing.
Beeldtaken wachten op een demonstratie
WiCi toont een tekstchat, modeldownload en aansluiting op programmeertools. De productpagina laat geen workflow zien voor foto’s, beeldherkenning, selectie of tagging. Camera Jabber schrijft dat beeldtaken nog niet zijn getest en dat WiCi daar geen details over publiceert. De geteste tekstvariant van DeepSeek laat bovendien vision-modules weg. De 800B-capaciteit bewijst dus geen inzet voor beeldverwerking.
WiCi laat zien dat een groot model lokaal kan antwoorden wanneer de SSD expertgewichten draagt. Voor Muse noemt de productpagina 0,944 tokens per seconde; de repository noemt 1,097. De app vraagt 520 GB vrije opslag en de beeldworkflow is nog niet getest. Voor Nederlandse organisaties hangt de inzet af van de dataroute, beschikbare schijfruimte en wachttijd per taak.
Veelgestelde vragen
AI die op je machine blijft
Ik denk mee over de juiste model- en dataroute, ontwerp de toepassing en realiseer het hele traject tot en met automatisering. Waar dat kan, richt ik de oplossing self-hosted in.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
