MacBook met code op het scherm op een bureau.
Nieuws20 november · 22:595 min leestijd

WiCi brengt desktopapp voor 800B-modellen uit

WiCi Infer streamt modelgewichten vanaf een SSD en laat DeepSeek- en Muse-modellen lokaal draaien. De app is gratis, maar vraagt 520 GB vrije opslag. WiCi’s tabellen komen voor Muse op 0,944 tot 1,097 outputtokens per seconde.

WiCi brengt Infer uit, een gratis desktopapp die open modellen van 763 tot 816 miljard parameters lokaal laat draaien door delen van hun gewichten vanaf de SSD te verwerken.

Voor een Nederlandse organisatie verandert daarmee de route voor tekst uit klantprojecten en broncode: de modelaanroep kan op de eigen Mac of Windows-pc blijven, in plaats van naar een cloud-API te gaan. WiCi noemt 24 GB minimumgeheugen en 48 GB aanbevolen voor Muse Spark Open, 16 GB minimum en 48 GB aanbevolen voor DeepSeek, en 520 GB vrije SSD-ruimte voor beide. De werkplek moet dus genoeg opslag hebben en de taak moet het uitvoertempo verdragen.

Persoon gebruikt een laptop aan een houten tafel, beeld: WiCi
Persoon gebruikt een laptop aan een houten tafel, beeld: WiCi

De SSD krijgt een plek in de inferenceketen

Een Mixture-of-Experts-model gebruikt per stukje tekst maar een deel van zijn expertlagen. InferSSD houdt die gewichten op SSD en leest ze wanneer nodig in RAM of videogeheugen. Muse Spark Open telt 816 miljard parameters, waarvan WiCi er 42 miljard per token actief noemt. Delen voor aandacht, gedeelde lagen en de contextcache blijven werkgeheugen gebruiken.

WiCi noemt voor DeepSeek V4.1 Flash, met 763 miljard parameters, 16 GB minimumgeheugen en 48 GB aanbevolen. Muse Spark Open vraagt minimaal 24 GB, met eveneens 48 GB aanbevolen. Beide modellen vragen 520 GB vrije SSD-ruimte. De geteste MacBook Pro had een M5 Max, 48 GB gedeeld geheugen en 2 TB opslag. De RTX 5060 Ti-test gebruikte 8 GB systeemgeheugen, 16 GB videogeheugen en een SSD van 2 TB.

In LM Studio is de gewone desktoproute een model downloaden en daarna in het geheugen laden. InferSSD richt zich op een specifiek deel van dat probleem: bij MoE-modellen kunnen de experts op de SSD blijven terwijl alleen de actieve delen naar het geheugen gaan.

De app bundelt InferSSD, dat WiCi op 29 oktober al beschreef als route om 800B-modellen op consumenthardware te draaien. DeepSeek’s offline engine voor V4.1-Flash draait op NVIDIA SM100 of Huawei Ascend 950. Voor een complete dienst ontbreekt daarin onder meer de KV-cache, de scheiding tussen prefill en decode en load balancing over replica’s. WiCi biedt nu een desktopapp en lokale API.

Model en computer bepalen de snelheid

WiCi’s technische uitleg geeft 0,944 outputtokens per seconde voor Muse Spark Open en 2,704 voor DeepSeek V4.1 Flash op een MacBook Pro met M5 Max en 48 GB geheugen. Bij 0,944 tokens per seconde duurt het genereren van 300 outputtokens ongeveer vijf minuten, zonder de tijd om de invoer te verwerken of het model te laden.

De productpagina noemt 0,944 en 2,704 tokens per seconde; de repositorytabel noemt 1,097 en 2,874 voor dezelfde Mac en 4K-prompt, en vermeldt dat de engine onder Apache 2.0 valt en modelgewichten hun uitgeverslicentie houden. WiCi publiceert geen toelichting die het verschil tussen de officiële tabellen verklaart.

Op de RTX 5060 Ti kwam Muse Spark Open uit op 0,219 tokens per seconde. Op de RTX 5090 met 32 GB systeemgeheugen en 32 GB videogeheugen was dat 1,520; op de DGX Spark met 128 GB gedeeld geheugen 2,140. DeepSeek V4.1 Flash haalde op de RTX 5090 7,270 tokens per seconde. Elk resultaat komt uit een complete combinatie van model en pc, met meerdere factoren die het tempo beïnvloeden.

De test gebruikt een prompt uit de 4K-categorie en meet decode over outputtokens 129 tot en met 256 van een antwoord van 256 tokens. Model laden telt niet mee. De methodiek vergelijkt complete configuraties en isoleert niet één optimalisatie. De Muse-baseline op de Mac gebruikt bovendien een andere promptlengte en sjabloon. Het blijven WiCi’s eigen resultaten, zonder onafhankelijke prestatietest.

Infer past op een werkplek

WiCi Infer is gratis, vraagt geen account en werkt op Apple Silicon-Macs en Windows-pc’s met x64-processors. Op Linux biedt het bedrijf de InferSSD-opdrachtregelversie aan. De app levert een lokale OpenAI-compatibele API waarmee onder meer Claude Code en OpenCode verbinding kunnen maken. Zo kan bestaande desktopsoftware een model op dezelfde computer aanspreken.

Microsofts serverroute bedient een andere schaal. Windows Server 2028 krijgt in preview een gedeeld endpoint voor meerdere applicaties, maar nog geen gepubliceerde lijst met geteste modellen. WiCi richt zich op een model op de werkplek; Microsoft beschrijft een gedeelde voorziening naast bedrijfsapplicaties. De desktopdemo zegt nog niets over centrale monitoring of gelijktijdig gebruik door een heel team.

WiCi zegt dat de modelaanroep lokaal wordt verwerkt. Dat vertelt niet waar gegevens belanden als een aangesloten toepassing zelf cloudfuncties gebruikt of gesprekken synchroniseert. De productpagina beschrijft geen teamrollen, auditlog, toegangscontrole of bewaarbeleid voor de lokale API. Bij gevoelige bedrijfsinformatie telt daarom de dataroute van de hele toepassing.

Beeldtaken wachten op een demonstratie

WiCi toont een tekstchat, modeldownload en aansluiting op programmeertools. De productpagina laat geen workflow zien voor foto’s, beeldherkenning, selectie of tagging. Camera Jabber schrijft dat beeldtaken nog niet zijn getest en dat WiCi daar geen details over publiceert. De geteste tekstvariant van DeepSeek laat bovendien vision-modules weg. De 800B-capaciteit bewijst dus geen inzet voor beeldverwerking.

WiCi laat zien dat een groot model lokaal kan antwoorden wanneer de SSD expertgewichten draagt. Voor Muse noemt de productpagina 0,944 tokens per seconde; de repository noemt 1,097. De app vraagt 520 GB vrije opslag en de beeldworkflow is nog niet getest. Voor Nederlandse organisaties hangt de inzet af van de dataroute, beschikbare schijfruimte en wachttijd per taak.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

AI die op je machine blijft

Ik denk mee over de juiste model- en dataroute, ontwerp de toepassing en realiseer het hele traject tot en met automatisering. Waar dat kan, richt ik de oplossing self-hosted in.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Gerelateerde artikelen

DeepSeek opent DeepInfer voor lokale inference
Nieuws
5 min

20 okt 14:35

DeepSeek opent DeepInfer voor lokale inference

DeepSeek zet het framework achter zijn productie-inference open source. De eerste versie draait offline voor één model op NVIDIA SM100 of Huawei Ascend 950 en mist onderdelen voor complete online serving.

Llama.cpp koppelt API- en ABI-breuken aan major-versies
Nieuws
4 min

13 nov 16:44

Llama.cpp koppelt API- en ABI-breuken aan major-versies

Llama.cpp v1.0.0 verwijdert 35 verouderde publieke functies en koppelt API- en ABI-breuken voortaan aan major-versies. Dat geeft teams die lokale AI bundelen een herkenbaarder upgradesignaal.

LMSYS vormt SGLang-consortium voor open AI-inferentie
Nieuws
4 min

13 nov 20:59

LMSYS vormt SGLang-consortium voor open AI-inferentie

LMSYS brengt NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal en RadixArk samen rond de SGLang-roadmap. De afspraken richten zich op gedeelde engineering, maar leggen nog geen productresultaten of prestatiewinst vast.

Onderzoek koppelt zes Chinese AI-modellen aan Blackwell-GPU’s
Nieuws
5 min

13 nov 20:49

Onderzoek koppelt zes Chinese AI-modellen aan Blackwell-GPU’s

Een forensische analyse koppelt zes modellen van DeepSeek, Moonshot AI, MiniMax en Ant Group aan Blackwell-GPU’s. De methode leest sporen van de initialisatie, maar bewijst niet waar de chips stonden of hoe ze zijn verkregen.

Prime Intellect vindt fouten in openbare AI-agentbenchmarks
Nieuws
5 min

3 nov 20:27

Prime Intellect vindt fouten in openbare AI-agentbenchmarks

Prime Intellect vindt fouten in drie openbare agentbenchmarks en publiceert nieuwe scores na aanpassingen. De uitkomsten lopen uiteen per beoordelaar, toolmodus en testset. De audit laat zien waarom een hoge score context nodig heeft.

Recursive lanceert Flint voor lokale code-AI
Nieuws
4 min

22 okt 00:44

Recursive lanceert Flint voor lokale code-AI

Recursive lanceert Flint als open-gewicht model voor code-AI op lokale hardware. De gewichten vallen onder Apache 2.0, maar de checkpointgrootte, gekozen runtime en eigen benchmarks bepalen wat praktisch bruikbaar is.