Alisina NawabiDe Inkling 2 Small-gewichten staan sinds 12 november via Hugging Face onder Apache 2.0, meldt Thinking Machines Lab. Het lab noemt ook routes voor lokaal gebruik, verdere training en API-toegang.
Een organisatie die klantdata binnen de eigen omgeving wil houden, kan het model nu echt downloaden en zelf draaien. De hoofdvariant vraagt minimaal 500 GB gezamenlijk GPU-geheugen, dus een cluster. Teams zonder die capaciteit kunnen de genoemde API-aanbieders of Snowflake-preview beoordelen.
De gewichten zijn beschikbaar, de hardwarevraag ook
Inkling 2 Small is een Mixture-of-Experts-model met 594 miljard parameters in totaal en 17 miljard actieve parameters per token. Het accepteert tekst en afbeeldingen, geeft tekst terug en heeft een contextvenster tot één miljoen tokens. De hoofdrepository bevat ongeveer 393,5 GB aan gewichtsbestanden in 24 safetensors-bestanden. Het alternatieve MXFP8-checkpoint staat in een aparte repository.
De NVFP4-hoofdvariant vraagt minimaal 500 GB gezamenlijk videogeheugen, bijvoorbeeld twee B300-kaarten of vier H200-kaarten. MXFP8 vraagt minstens 800 GB, bijvoorbeeld vier B300-kaarten of acht H200-kaarten. Dat zijn voorbeelden van GPU-clusters, geen gewone servers. De 17 miljard actieve parameters zeggen hoeveel er per token worden gebruikt, niet hoeveel geheugen een volledige installatie nodig heeft.
Apache 2.0 staat naast een apart gebruiksbeleid
De modelkaart noemt Apache 2.0 als licentie. Thinking Machines verwijst ook naar een aparte Model Acceptable Use Policy die volgens de tekst geldt voor wie de gewichten downloadt. De policy verbiedt onder meer geautomatiseerde besluiten zonder menselijke tussenkomst die iemands rechten raken. Zij vraagt ook om bekende materiële beperkingen te melden en duidelijk te maken dat een gebruiker met AI te maken heeft wanneer dat wettelijk vereist is of relevant is voor zijn begrip.
Een team dat Inkling 2 Small in een product wil verwerken, moet dus zowel de Apache-licentie als de gebruiksvoorwaarden beoordelen. De genoemde beperkingen spelen direct mee bij toepassingen rond werk, krediet, zorg en andere besluiten over personen.
Lokale integraties vragen nog ontwikkelversies
Thinking Machines noemt lokaal draaien via SGLang, vLLM, TokenSpeed en Unsloth. Voor verdere training noemt het Miles, SkyRL en Snowflake Cortex Training. API-toegang is er via Tinker en aanbieders als NVIDIA, Fireworks, Together, Baseten, Nebius, Modal en Cloudflare.
De documentatie maakt verschil tussen een beschikbaar recept en ondersteuning in een stabiele release. Het vLLM-recept vraagt om een nightly-build, een testversie vóór de stabiele release, en een aparte modelimage totdat Inkling 2 Small in een release zit. De SGLang-documentatie zegt dat de ondersteuning nog niet in een release zit en verwijst naar ontwikkelimages. Teams kunnen nu testen, maar moeten rekening houden met wisselende softwareversies.
Snowflake biedt een alternatief voor organisaties die hun data al in dat platform beheren. Het bedrijf zegt dat Inkling 2 Small in de publieke preview van Cortex Training beschikbaar is voor toetsen, verder trainen en modelaanroepen op beheerde bedrijfsdata. Die route vraagt geen eigen cluster, maar blijft afhankelijk van Snowflake en de voorwaarden van de preview.
De stap volgt op de Tinker-lancering
Op 6 november was Inkling 2 Small nog alleen via Tinker beschikbaar; de Apache 2.0-gewichten waren aangekondigd voor na externe veiligheidstests, zonder vaste publicatiedatum. De nieuwe upload maakt die belofte toetsbaar. Een kleinere voorganger, Inkling Small, telde 276 miljard parameters.
Inkling 2 Small vraagt bijna drie keer zoveel videogeheugen als de 180 GB die de eerdere Inkling Small nodig had. De eerdere vergelijking van self-hosting met goedkope open-weight API’s plaatst het omslagpunt rond 15 tot 20 miljoen tokens per dag. Bij lagere volumes kunnen gegevensbeheer of de mogelijkheid om het model aan te passen een directere reden zijn om zelf te hosten dan lagere kosten.
Benchmarks hangen aan hun testopzet
Thinking Machines rapporteert 86,3 procent op SWE-Bench Pro v2 Hard en 72,1 procent op DeepSWE v1.1. Het lab zegt dat alle eigen evaluaties draaiden op reasoning-instelling xhigh, temperatuur 1,0 en een maximale taaklengte van één miljoen tokens. De cijfers beschrijven die testopzet, niet rechtstreeks de prestaties op Nederlandse klantvragen, contracten of interne documenten.
Artificial Analysis gaf Inkling 2 Small 31 punten in zijn Intelligence Index; de modelkaart vermeldt 30,6 voor versie 5.0. De modelkaart waarschuwt ook voor verschillen tussen talen en domeinen en adviseert een toets op het eigen gebruik. De veiligheidssectie beschrijft interne en externe evaluaties in de woorden van Thinking Machines, maar linkt geen afzonderlijk onafhankelijk testrapport.
Een eigen installatie vraagt een GPU-cluster, controle van de gebruiksvoorwaarden en software die nog niet overal stabiel is. API-aanbieders en Snowflake geven teams een beheerde route. Zolang vLLM en SGLang hun ondersteuning niet in stabiele releases opnemen, blijft de keuze ook afhangen van de technische beheerlast.
Veelgestelde vragen
Van model naar eigen toepassing
Ik denk mee over de inzet van een open model, ontwerp de werkwijze en realiseer de software, koppelingen en automatisering eromheen. Waar dat kan, lever ik de oplossing self-hosted op, van eerste afweging tot livegang.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
