Recursive lanceert Flint voor lokale code-AI

Recursive lanceert Flint als open-gewicht codeermodel voor lokale inzet en meldt ruim 125 tokens per seconde op een M4 Pro en ruim 150 op een RTX Spark met 64 GB.

Een Nederlands softwareteam kan code-AI daarmee op eigen hardware testen. Als de modelrun lokaal blijft, hoeft broncode niet standaard naar een externe model-API; de terugkerende tokenkosten maken plaats voor hardware, stroom en beheer.

Een laptop vraagt de juiste modelvariant

Flint is een mixture-of-experts-model met 39,8 miljard parameters. Per token zijn er ongeveer 2,5 miljard actief, wat het rekenwerk beperkt zonder de opslag van alle gewichten te veranderen. De openbare BF16-checkpoint is ongeveer 80 GB; voor Apple Silicon en NVIDIA zijn aparte quantisatievarianten beschikbaar. De laptopsnelheid hoort bij Recursive's geoptimaliseerde runtime. De modelkaart noemt voor SGLang één B300- of H200-GPU per replica.

Recursive noemt ondersteuning voor Ollama, LM Studio, llama.cpp, vLLM en SGLang. Het bedrijf brengt ook rec uit, een eigen inferentie-engine voor M4 Pro en M5 Pro/Max. De ruim 150 tokens per seconde op een RTX Spark gelden bij korte contexten. Contextlengte en de gekozen machine tellen dus mee in de hardwarekeuze.

De gewichten staan onder Apache 2.0. Apache 2.0 verleent rechten om de gewichten te gebruiken, aan te passen en te verspreiden, met voorwaarden zoals licentie- en naamsvermeldingen bij herdistributie. De modelkaart noemt de checkpoint, configuratie, tokenizer en een SGLang-serverpakket; de aankondiging zegt niet dat ook trainingsdata of de volledige trainingscode worden vrijgegeven. Open gewichten geven dus toegang tot het modelbestand, niet automatisch tot het hele bouwproces.

Flint zet een onderzoekssysteem aan het werk

Recursive zegt dat een klein team Flint in minder dan vier maanden vanaf nul bouwde, met hulp van de Eureka Machine. Dat systeem stelt ideeën voor, voert experimenten uit en gebruikt de uitkomsten voor volgende pogingen. In juni meldde Recursive al een verbetering van 79,7 naar 77,5 seconden op NanoGPT Speedrun. De Flint-aankondiging trekt die aanpak door naar modelarchitectuur, trainingsrecepten, quantisatie en inferentiekernels.

Ook andere labs openen lokale modelroutes. DeepSeek koos een andere route: het offline-inferenceframework ondersteunt alleen V4.1-Flash en vraagt NVIDIA SM100- of Huawei Ascend 950-hardware. DeepInfer opent de engine voor specifieke accelerators; Flint biedt modelgewichten en runtimes voor Apple- en NVIDIA-hardware.

OpenHands zegt Flint voor de lancering met zijn agentsoftware te hebben getest en ondersteunt het vanaf dag één, lokaal of via OpenRouter. Het meldt daarnaast ruim 100 tokens per seconde op een RTX Spark bij een context van 120.000 tokens. Die integratie maakt Flint bruikbaar in een codeeragent, maar bevestigt de benchmarkrangschikking niet onafhankelijk. De kosten van een gehoste route en die van een eigen machine blijven verschillende keuzes.

De scorekaart meet een smalle claim

Recursive publiceert 54,9 procent op Terminal-Bench 2.1, 89,7 procent op SWE-bench Pro v2 en 74,2 procent op SWE-bench Verified. Het bedrijf zegt daarmee voorop te lopen bij mixture-of-experts-modellen onder 50 miljard parameters op tests waarbij codeeragents programmeertaken uitvoeren. De modelkaart meldt pass@1-gemiddelden over minstens vijf pogingen. Pass@1 meet of één gegenereerde oplossing de taak oplost. Terminal-Bench gebruikt Terminus 2 als agent en SWE-bench mini-swe-agent. De kaart waarschuwt ook dat vergelijkingsscores van andere modellen door hun ontwikkelaars zijn gerapporteerd en niet altijd dezelfde evaluatieopzet volgen.

Dat voorbehoud is relevant voor de bredere rangorde. Recursive's M4 Pro-grafiek zet Qwen3.8 27B hoger op de gemiddelde score over zes benchmarks, terwijl Flint tokens sneller produceert. Qwen3.8 27B is geen MoE-model en valt daarmee buiten Recursives claim over modellen in die klasse. TechCrunch schreef op 21 oktober dat Recursive geen bespaarde onderzoekstijd heeft gekwantificeerd. De grafiek vergelijkt modellen binnen de gepubliceerde testopzet. Een eigen codebase, programmeertaal en set tools kunnen een andere uitkomst geven.

Een mini-benchmark met 20 tot 50 eigen praktijkvoorbeelden laat beter zien of Flint bugonderzoek, testschrijven of kleine wijzigingen in een bestaande repository aankan. Meet daarbij de kwaliteit van de afgeronde taak en de benodigde tijd, niet alleen de tokens per seconde. Tokens per seconde zegt hoe snel tekst verschijnt. Een afgeronde taak laat zien of de agent de juiste wijziging oplevert.

Lokale inference is één deel van de werkstroom

Een model dat op eigen hardware draait, kan prompts en broncode buiten een model-API houden. De rest van de codeeromgeving vraagt een aparte keuze: waar de repository staat, welke logs worden opgeslagen, welke tools een agent mag aanroepen en of een dienst voor modeltoegang alsnog wordt gebruikt. OpenHands' twee routes, lokaal en via OpenRouter, maken dat onderscheid concreet.

Voor open modellen hebben Microsoft en NVIDIA dertig risicotypen ondergebracht in vijf categorieën met bijpassende evaluaties. Zelf hosten geeft een organisatie meer controle over de inferentie, maar legt testen, toegangsbeheer en monitoring ook bij de partij die het model inzet. Die verantwoordelijkheid groeit zodra een codeeragent bestanden kan wijzigen, opdrachten kan uitvoeren of externe diensten kan bereiken.

Flint maakt lokale code-inference op specifieke werkstations en servers testbaar, met een open licentie en gepubliceerde prestaties. De praktische waarde hangt af van de checkpoint die past op de beschikbare hardware, de kwaliteit op eigen ontwikkeltaken en de grenzen van de agentomgeving. Dat zijn de voorwaarden waaronder lagere API-afname en meer controle over broncode samen kunnen gaan.