Alisina NawabiTogether Compiler laat AI-agenten open modellen doorlopend optimaliseren; Together AI claimt tot 2,6 keer zoveel tokens per seconde in eigen tests van 4 november 2026 tegenover de beste gerapporteerde open inferentie-configuraties.
Een GPU-cluster kan zo meer verzoeken verwerken of dezelfde vraag sneller beantwoorden voordat extra capaciteit nodig is. Dat raakt de wachttijd en de rekenruimte voor toepassingen die lange prompts of meerdere modelaanroepen gebruiken. De uitkomst hangt af van het model, de GPU en het verkeerspatroon. Een benchmarkpiek is daarom nog geen besparing op de factuur.
De engine blijft draaien
Together Compiler krijgt een model, hardware, startopdracht en verkeersprofiel als invoer. Een kostenmodel kiest welke GPU-verdeling als eerste wordt getest. Parallelle AI-agenten stellen wijzigingen voor aan de code die het model uitvoert bij elke vraag. Een blijvende inferentie-engine laadt elke variant direct in, zonder zelf opnieuw te starten.
De tests gebruiken twee niveaus. Een snelle engine laadt een deel van de modellagen, zodat agenten veel voorstellen kunnen uitproberen. Een tragere engine laadt meer of alle lagen en controleert of de winst standhoudt met echte invoerpatronen. Die tweede controle is relevant bij modellen met een mengsel van experts of sparse attention, waarbij het model per stap maar een deel van de invoertokens verwerkt. Willekeurige testinvoer kan dan een andere GPU-verdeling opleveren dan echt verkeer.
Together zegt dat de totale tijd tot een gereedstaande engine in de opstarttabel daalt van 467 naar 9 seconden. Die verhouding is ongeveer 52 op 1 en betreft alleen de opstarttijd. Het is geen maat voor de tokens per seconde.
2,6× is een maximum
Het onderzoeksrapport noemt vier modelreeksen: Kimi K3, GLM 5.3, MiniMax M3.1 Flash en DeepSeek v4.1 Flash. Voor de 2,6× vergelijkt Together de compiler met de beste gerapporteerde configuraties van open inferentie-engines op SemiAnalysis' InferenceX-benchmark, waaronder vLLM en SGLang. Voor de GPU-tests op AMD- en Nvidia-hardware gebruikt de paper het AgentX-verkeersprofiel. Een afzonderlijke proef op Trainium2 gebruikt synthetische gesprekken, zodat niet elk platform dezelfde invoer krijgt. De optimalisaties liepen per configuratie minder dan 24 uur en gebruikten hoogstens twee rekenknooppunten per model. Het cijfer is een maximum over verschillende instellingen, geen gemiddelde voor alle vier modellen.
De via Business Wire verspreide persmelding noemt 1,5× voor Kimi K3 en 1,4× voor GLM 5.3 tegenover de beste InferenceX-resultaten. Dat zijn twee concrete modelresultaten naast de hogere maximumclaim. Dezelfde melding schrijft dat klant Phonic de mediane tijd tot eerste spraakuitvoer na één nacht met bijna 50 procent terugbracht. De release noemt geen begin- en eindtijd of testopzet.
Voor een aparte test met één verzoek tegelijk noemt het onderzoeksrapport 1.111 tokens per seconde voor MiniMax M3.1 Flash op een B200 en 1.205 voor DeepSeek v4.1 Flash op een GB300. De persmelding geeft voor diezelfde model- en hardwareparen 1.066 en 1.163 tokens per seconde. De twee publicaties verklaren het verschil niet. Het rapport zegt dat de MiniMax-meting 1,8 keer boven het eerdere gepubliceerde resultaat van 633 ligt. Op een ander werkpunt, Llama 1B met één verzoek tegelijk, meldt Together tot 1,7× de snelheid van handgeschreven megakernels.
De paper noemt ook 252× meer experimenten dan bestaande agentgestuurde optimalisatiesystemen en 11× minder inactieve tijd per agent. Die verhoudingen meten het testtempo. Ze zeggen hoeveel kandidaatcode het systeem kan beoordelen, niet hoeveel extra tokens een klant direct ontvangt.
Ook andere teams automatiseren het afstellen
Onderzoekers van Red Hat en Boston University beschreven in april llm-tuna, een raamwerk dat met Bayesiaanse optimalisatie, een statistische zoekmethode, instellingen voor vLLM doorzoekt. De auteurs rapporteren dat llm-tuna tot 32,9 procent meer uitvoerdoorvoer haalt over vier mengsel-van-expertsmodellen. Die uitkomst is niet rechtstreeks vergelijkbaar met Together's 2,6×: llm-tuna zoekt instellingen van een bestaande engine, terwijl Together ook de code van de modelberekening laat aanpassen en opnieuw testen wanneer het verkeer verandert.
De productlagen van Together vullen elkaar aan. Together Link laat een team de bestaande codeeragent houden en verandert alleen de route naar gehoste open modellen; het stuurt verzoeken naar een gekozen model. De compiler werkt lager in dezelfde keten en probeert de modeluitvoering op GPU's sneller te maken. Ook de infrastructuur groeit mee: Together AI meldde als eerste klant al op IBM's B300-inferentiecluster te draaien, voordat brede klanttoegang was bevestigd.
Klanttoegang blijft beperkt
Together noemt de compiler het eerste onderdeel van Polymorphic Inference dat al in productie draait. De persmelding zegt dat de compiler op veel van Together's serverloze modeldiensten actief is en dat klanten een beperkte bèta kunnen gebruiken op eigen, speciaal ingerichte omgevingen. Zelfbediening volgt later, maar er staat geen datum bij. De aankondiging publiceert ook geen aparte prijs voor de compiler.
Voor Nederlandse organisaties die open modellen zelf draaien, ligt de relevante meting bij hun eigen modelversie, GPU, invoerlengte en gelijktijdige verzoeken. Naast tokens per seconde tellen ook de wachttijd per gebruiker, de correctheid van antwoorden en de benodigde rekencapaciteit per afgeronde taak. De 2,6× is de hoogste uitkomst die Together in zijn tests noemt. De beperkte bèta moet laten zien hoeveel daarvan terugkomt bij echte klantverzoeken en op de rekening.
Veelgestelde vragen
Van model naar werkende AI
Ik denk met je mee over de plek van AI in je proces en werk het uit van ontwerp tot een draaiende, geautomatiseerde oplossing. Waar het kan draait die op je eigen infrastructuur, zodat jij regie houdt over gegevens en rekenwerk.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
