NVIDIA maakt Run:ai open source

NVIDIA stelt Run:ai open source met vier onderdelen voor GPU-planning, capaciteitsdeling, quota en taakbeheer op Kubernetes, beschikbaar via GitHub en NGC, meldt het bedrijf op 13 oktober.

Voor een Nederlandse organisatie met eigen of gehuurde GPU-clusters is de communityversie te gebruiken zonder betaalde Run:ai-subscriptie. De inzet verschuift naar installatie, updates, beveiliging en storingsdienst. NVIDIA zegt dat de communityrelease geen enterprise-support omvat.

Vier onderdelen richten het GPU-gebruik in

KAI Scheduler verdeelt werk over Kubernetes-clusters. Het ondersteunt gang scheduling, waarbij pods van een meerstapstaak samen starten, fair-sharequota, plaatsing op basis van GPU-topologie en het delen van één GPU. De planner kan naast bestaande software draaien; het volledige Run:ai-platform is daarvoor niet nodig.

GPU Fractioning Operator gebruikt CUDA 13.4 om GPU-geheugen op Kubernetes te verdelen. De driver handhaaft per taak een harde limiet; per-podmetingen tonen het gebruik. De operator werkt met KAI Scheduler en andere schedulers, zodat teams hem los kunnen inzetten voor notebooks, ontwikkelsessies en kleinere modellen.

KAI Resource Management groepeert projecten, afdelingen en hardware onder quota. NVIDIA noemt als voorbeeld dat onderzoek 50 procent van een cluster gegarandeerd krijgt, zonder dat één team de rest opeist. Workload Map geeft taken als Ray- en PyTorch-jobs een gedeelde beschrijving voor planning, monitoring en levenscyclusbeheer. Het beschrijft taken, maar plant of schaalt ze niet zelf.

De NGC-route vraagt om een precieze lezing

De broncode staat in de Run:ai-repository op GitHub. De hoofdmap vermeldt Apache 2.0; onderdelen hebben ook eigen licentiebestanden. NVIDIA zegt dat de communityversie via NGC beschikbaar is met een Helm-chart. Voor de download moeten gebruikers de softwareovereenkomst en productvoorwaarden accepteren. Een betaalde Run:ai-subscriptie is volgens het bedrijf niet nodig.

Er is een praktische onduidelijkheid: de NGC-pagina waarnaar de aankondiging linkt, toont Run:ai Self-Hosted nog als premiumproduct waarvoor een abonnement nodig is. De catalogus vermeldt 23 september als laatste update, vóór de nieuwe communityrelease. NVIDIA maakt in de aankondiging niet duidelijk of de Community Product een aparte catalogusvermelding krijgt of onder dezelfde pagina verschijnt. De aankondiging bevestigt dat enterprise-support niet bij de communityversie hoort, maar laat de exacte NGC-vermelding in het midden.

De commerciële route blijft bestaan voor organisaties die NVIDIA als leverancier willen houden. Run:ai blijft beschikbaar als zelfstandig aanbod, via Mission Control, NVIDIA AI Enterprise en bepaalde cloudmarktplaatsen. NVIDIA zegt dat licentie- en supportvoorwaarden per aanbod verschillen. De licentiegids voor NVIDIA AI Enterprise rekent per GPU en koppelt een abonnement aan Business Standard-support. Dat is een andere overeenkomst dan de communityversie, die geen NVIDIA-enterprisesupport meebrengt.

Partners verkopen een andere beheergrens

Partners vullen de operationele laag op verschillende manieren in. Mirantis heeft de Run:ai-integratie in de k0rdent-catalogus beschikbaar gemaakt. Die automatiseert installatie en beheer over de levenscyclus van clusters. Het bedrijf biedt ook OpsCare voor 24/7-ondersteuning en OpsCare Plus, waarbij Mirantis het beheer overneemt. De Mirantis-integratie brengt Run:ai onder hetzelfde beheer als de rest van de AI-infrastructuur.

vCluster presenteert een beheerde Run:ai-omgeving met vooraf geteste installatiepatronen en een eigen Kubernetes-cluster per klant. Het bedrijf zegt dat daarvoor geen commerciële NVIDIA-Run:ai-licentie nodig is. Die isolatie gaat verder dan Run:ai-quota binnen één cluster: elke klant krijgt een eigen API en afgeschermde reken-, opslag- en netwerklaag. vCluster beschrijft hoe die extra grens tussen klantomgevingen naast Run:ai’s quota- en projectbeheer werkt.

Lambda biedt al GPU-clusters via Lambda Kubernetes Service, maar Run:ai staat nog op de routekaart. Het bedrijf zegt dat het met NVIDIA werkt aan een beheerde optie die het zelf verpakt, test en bijwerkt. Lambda beschrijft de integratie als toekomstig onderdeel van zijn Kubernetesdienst, dus open code geeft dienstverleners ruimte om het beheer over te nemen. Dat betekent nog niet dat deze optie vandaag algemeen beschikbaar is.

De scheduler was al open, het platform komt erbij

NVIDIA stelde KAI Scheduler in april 2025 al onder Apache 2.0 beschikbaar als zelfstandig open-sourceproject. De nieuwe stap voegt de lagen eromheen toe: GPU-geheugenfracties, organisatorische quota en een gedeelde manier om AI-taken te herkennen. Teams die alleen een GPU-bewuste planner zoeken, hoeven daardoor niet de hele Run:ai-software over te nemen.

NVIDIA opent ook software rond zijn rekenkracht. Het bedrijf maakte OSMO open source voor workflows die robottraining, simulatie en hardwaretests over verschillende omgevingen verbinden. De aankondiging noemt Model Streamer, dat modelgewichten vanuit objectopslag naar GPU-geheugen streamt en de lokale schijf overslaat. In Microsofts Azure-Blob-test van 19 mei, op één VM met acht H100-GPU’s laadde een model van 232,8 GiB in 37 seconden, tegenover 226 seconden met de standaardlader; de doorvoer was 80 tegenover circa 40 Gbps. De test geldt voor die configuratie, niet voor Run:ai als geheel. Voor teams die vaak modellen starten, vermindert de tijd dat gereserveerde GPU’s geen aanvragen verwerken. Tegelijk bouwt het DSX-ecosysteem commerciële routes rond dezelfde infrastructuur; NVIDIA koppelt datacenterbouwers en cloudaanbieders aan een model waarin het meedeelt in omzet uit AI-rekenkracht. Red Hat AI 3.5 verscheen op 9 september met GPU-planning op basis van quota, beheer voor meerdere gebruikers en tokenmeting per gebruiker; een aparte Kubernetes-controlplane kan tenants op gedeelde hardware van elkaar scheiden.

Run:ai maakt GPU-verdeling controleerbaar in software die teams zelf kunnen inspecteren en aanpassen. De communityroute vereist geen betaalde Run:ai-subscriptie, maar laat support, upgrades, beveiliging en tenantisolatie als aparte beheerkeuzes staan. Een team met Kubernetes-kennis kan de onderdelen zelf combineren; een team zonder die capaciteit kan het beheer bij een leverancier onderbrengen. De beslissende grens ligt bij wie verantwoordelijk is wanneer de gedeelde GPU-omgeving moet worden aangepast of hersteld.