LMSYS vormt SGLang-consortium voor open AI-inferentie

LMSYS Org vormt met NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal en RadixArk een consortium rond SGLang om open AI-inferentie samen te ontwikkelen, meldt de non-profit op 12 november.

Voor teams die open modellen op eigen GPU’s of cloudservers draaien, kan dit veranderen welke modellen en hardware de softwarelaag ondersteunt. De acht bedrijven leggen gezamenlijke roadmapafstemming vast en kunnen engineeringwerk delen. De aankondiging noemt nog geen nieuwe release, prijsverlaging of prestatiewinst.

De roadmap brengt acht belangen samen

De oprichters komen uit verschillende lagen van de AI-infrastructuur. NVIDIA, AMD en Intel maken chips. Google, Cloudflare en Modal leveren cloud- en infrastructuurdiensten. Meta gebruikt SGLang in productie, volgens LMSYS, en RadixArk is een AI-infrastructuurbedrijf dat mede is opgericht door SGLang-ontwikkelaars Ying Sheng en Banghua Zhu. De aankondiging maakt niet bekend welk bedrijf welke bijdrage levert.

Elk lid wijst een technische vertegenwoordiger aan voor twee roadmapbijeenkomsten per jaar. Tussentijds kunnen werkgroepen samenwerken. Bijdragen kunnen bestaan uit technische kennis, feedback uit productie-implementaties, testmiddelen of gezamenlijke ontwikkeling. LMSYS wil openbare voortgangsupdates over de roadmap delen. De inhoudelijke focus ligt op ondersteuning van frontiermodellen, redeneer- en multimodale workloads, gedistribueerde inferentie en hardware-optimalisatie.

Inferentie trekt de softwarevraag naar voren

Een inferentie-engine verwerkt aanvragen nadat een model is klaargezet om antwoorden te genereren. De engine verdeelt het werk over processoren en beheert onder meer de verwerking van meerdere verzoeken tegelijk. SGLang is volgens LMSYS een volledige inferentie-engine voor frontiermodellen en onderdeel van het PyTorch-ecosysteem. De organisatie zegt dat de software op honderdduizenden GPU’s draait en grote productie-implementaties ondersteunt bij onder meer Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection en Modal.

Dat bereik is een claim van LMSYS zelf. De aankondiging specificeert niet hoe de GPU’s zijn verdeeld over hardwaretypen, modellen en werklasten. Ook publiceert LMSYS geen onafhankelijk gemeten prestatiewinst die uit het consortium voortkomt. Deloitte verwacht dat inferentie ongeveer twee derde van alle AI-rekenkracht in 2026 vraagt, tegenover ongeveer de helft in 2025. Dat is een prognose uit 2025, geen meting van het verbruik in 2026. Ze verklaart wel waarom leveranciers en modelbouwers gezamenlijk naar het efficiënter serveren van modellen kijken.

SGLang speelde ook al een rol in andere open inferentieprojecten. DeepSeek schrijft dat DeepInfer hoofdzakelijk op vLLM is gebouwd en SGLang naast NVIDIA TensorRT-LLM als inspiratie noemt. De eerdere DeepSeek-vrijgave draaide offline alleen V4.1-Flash op NVIDIA SM100 of Huawei Ascend 950. Die vermelding maakt SGLang een invloed in de bredere stack, maar betekent niet dat DeepInfer SGLang-code bevat.

Andere partijen bundelen de optimalisatie

De consortiumvorm past naast andere samenwerkingen rond AI-software en hardware. AMD en Intel brengen ZenDNN-optimalisaties samen in oneDNN als gedeelde PyTorch-route voor x86-processoren. Intel bevestigt dat AMD ZenDNN in oneDNN integreert en dat de gezamenlijke bibliotheek de standaard open route voor x86-versnelling binnen PyTorch wordt. Dat initiatief richt zich op CPU-optimalisatie binnen PyTorch; SGLang richt zich op het serveren van modellen en noemt juist verschillende hardwareplatformen en werklasten.

NVIDIA meldde in augustus dat Groq 3 LPX in volledige productie ging. De benchmark is specifieker dan de persclaim alleen: Artificial Analysis mat 3.431 uitvoertokens per seconde op Gemma 4 31B met 100.000 invoertokens, via een privé-demonstratie-endpoint van NVIDIA. De test gebruikte vijftig opeenvolgende verzoeken met één gelijktijdig verzoek. Artificial Analysis meldde rond 3.400 tokens per seconde bij zowel 10.000 als 100.000 invoertokens. Dat is een test op een privéserver, geen prijs- of prestatierapport voor SGLang. De stappen laten zien dat bedrijven zowel de softwarelaag als de accelerator waarop die draait proberen te verbeteren.

De uitkomst en beveiliging blijven open

SDxCentral zet NVIDIA’s deelname neer als een inference-pledge. Die kop legt de nadruk op één chipbedrijf, terwijl LMSYS het consortium aankondigt met acht oprichters. De formele afspraak draait om roadmapoverleg, bijdragen aan engineering en openbare voortgangsupdates. SGLang-maintainers houden de technische besluiten en bepalen welke code wordt geaccepteerd; het project blijft open voor de bredere gemeenschap.

De aangekondigde prioriteiten noemen geen afzonderlijk werkspoor voor beveiliging. Dat is relevant naast het incident dat NEAR AI op 9 november meldde: een kwetsbaarheid voor uitvoering op afstand in SGLang gaf een aanvaller toegang tot één inferentieserver. NEAR AI bevestigde dat accountgegevens van circa honderd gebruikers en informatie uit achttien oudere agents waren bereikt; het bedrijf trok twee klantensleutels in en meldde dat verzoeken van 8 november mogelijk zichtbaar waren. NEAR AI vond geen aanwijzing dat opgeslagen Private Chat-gesprekken of uploads waren ingezien. NEAR AI zegt de SGLang-fix op alle inferentieservers te hebben uitgerold. Dat is een maatregel in de eigen cloud; de consortiumaankondiging bevat geen belofte van een gezamenlijk beveiligingswerkspoor.

Voor Nederlandse organisaties wordt de inzet concreet zodra een SGLang-versie aantoonbaar werkt met de eigen accelerator, cloud en werklast. Dan kunnen teams vergelijken hoeveel verzoeken een opstelling per euro verwerkt en hoe snel antwoorden volgen. De maintainers houden de codebesluiten, terwijl deelnemende bedrijven hun implementatie-ervaring kunnen inbrengen. De aankondiging noemt nog geen datum voor een eerste roadmapupdate of meetbaar resultaat.