Google maakt Cloud Pathways algemeen beschikbaar op GKE

Cloud Pathways is algemeen beschikbaar op Google Kubernetes Engine, meldt Google: de runtime verdeelt JAX-training en inference over Cloud TPU’s van v5e tot Ironwood (TPU 7x).

De gekozen Google-regio bepaalt welke TPU een Nederlands team voor Pathways kan inzetten. De chipuren bepalen de rekening: Google rekent $1.560 voor 1.000 v5e-chipuren in Nederland, vóór cluster, opslag en netwerk.

Eén JAX-client bestuurt meerdere TPU-slices

Cloud Pathways richt zich op een coördinatieprobleem in JAX. Bij de standaardopzet draait op elke TPU-host een eigen Python-proces met zicht op alleen de aangesloten apparaten. Dat maakt verschillende taken en het verdelen van werk over meerdere slices lastig te beheren.

Pathways gebruikt één JAX-client. Met JAX_PLATFORMS=proxy en pathwaysutils kan die client meerdere TPU-slices aansturen alsof de apparaten lokaal zijn aangesloten. De runtime bouwt op de open source Interim Framework Runtime. Hij evalueert rekengrafen, beheert een blijvende compilatiecache in Cloud Storage en verstuurt XLA-bewerkingen asynchroon.

Python-sidecars kunnen taken zoals data inlezen en controlepunten opslaan naast de TPU-processen uitvoeren. Dat houdt een deel van het werk rond de modelrun dicht bij de versnellers.

De taak verschilt van Agent Substrate, Googles GKE-runtime die agents in geïsoleerde sandboxes uitvoert en hun sessiestatus bewaart. Agent Substrate beheert de levenscyclus van agents; Cloud Pathways verdeelt modeltraining en inference over TPU-slices. Google opende TorchTPU als native PyTorch-route naar zijn TPU’s. Die software maakt een ander framework toegankelijk; Pathways coördineert JAX-workloads over meerdere TPU’s.

Snapshots moeten dure herstarts voorkomen

Bij lange trainingsruns kan een defecte TPU-slice werk onderbreken en dure rekentijd verloren laten gaan. Google zegt dat hostgeheugen-snapshots een taak opnieuw kunnen verdelen over één slice minder, zonder het JAX-clientproces te stoppen.

Teams kunnen JAX-taken ook vanuit een notebook of terminal interactief starten en onderzoeken. Met Shared Pathways Service kunnen meerdere gebruikers en jobs een gedeelde pool TPU-slices gebruiken.

Google meldt dat klanten in de voorafgaande 90 dagen samen meer dan 130 miljoen TPU-chipuren met Pathways op GKE verwerkten. Eén niet bij naam genoemd consumententechnologiebedrijf draait batch- en reinforcement-learning-inference op tienduizenden v5p-, v6e- en 7x-chips. Dat gebruik is volgens Google meer dan 100 miljoen chipuren per kwartaal. Het bedrijf werkt met Google aan uitbreiding naar pretraining.

Google noemt ook ZenteiQ, dat Pathways met MaxText en Tunix gebruikt voor wetenschappelijke basismodellen op meerdere v6e-slices. Sidecars en snapshots moeten daar handmatige herstarts beperken. De cijfers komen van Google en geselecteerde klanten. De aankondiging geeft geen onafhankelijke meting van hersteltijd of benutting, geen verdeling van de 130 miljoen chipuren naar generatie en geen kostenvergelijking. Ook maakt Google niet duidelijk of de 100 miljoen chipuren van deze klant in het totaal van 130 miljoen zitten. De genoemde volumes tonen gebruik op schaal, maar zijn geen bewijs van een kostenbesparing.

Europa krijgt niet elke TPU-generatie

Google maakt Pathways algemeen beschikbaar op GKE in regio’s waar v5e, v5p, v6e of Ironwood TPU 7x wordt ondersteund. De versiegebonden containerimages ondersteunen JAX 0.10.1 en hoger. De huidige TPU-zonelijst plaatst v6e in europe-west4-a en v5e en v5p in europe-west4-b. Een TPU 7x-zone staat niet in de Europese lijst. De GKE-status zegt dus niet dat elke genoemde chip in Nederland beschikbaar is.

Google rekent TPU-gebruik per chipuur zolang een node klaarstaat. De prijspagina vermeldt voor europe-west4 momenteel $2,97 per v6e-chipuur, tegenover $1,56 voor v5e. Duizend v6e-chipuren kosten daarmee $2.970, nog zonder GKE, opslag en netwerk. De aankondiging noemt geen aparte Pathways-prijs. Een team dat honderd chips tien uur inzet, komt op 1.000 chipuren; de uiteindelijke rekening hangt daarna ook af van de gekozen TPU-generatie en bijkomende infrastructuur.

De integratie met Slurm via Cluster Director staat nog in preview. De algemene beschikbaarheid geldt dus voor GKE; een organisatie met een bestaande Slurm-omgeving krijgt via deze aankondiging nog geen GA-route.

Een runtime past bij één laag van de stack

NVIDIA bouwt ook software voor verdeeld AI-werk, met een andere focus. Dynamo is volgens de fabrikant een open source inference-framework dat met vLLM, SGLang en TensorRT-LLM werkt. Dynamo werkt met vLLM, SGLang en TensorRT-LLM en draait op Kubernetes, Slurm of lokaal op NVIDIA- en AMD-GPU’s en Intel-XPU’s. Het richt zich op het serveren van modellen en gebruikt een andere hardware- en softwarestack dan Cloud Pathways op TPU’s.

Ook Googles GKE-aanbod bevat runtimes voor verschillende taken. GKE Workspaces brengt JupyterLab-notebooks naar GPU- en TPU-clusters en kan GPU-sessies pauzeren om capaciteit vrij te maken. Dat is de ontwikkelomgeving; Agent Substrate voert agents geïsoleerd uit. Cloud Pathways coördineert JAX-training en inference over meerdere TPU-slices.

Cloud Pathways is daardoor vooral relevant voor teams met een JAX-workload die over meerdere Cloud TPU’s moet draaien. De GKE-route is nu algemeen beschikbaar, terwijl de Slurm-integratie preview blijft. Voor Nederlandse organisaties liggen de eerstvolgende keuzes bij de beschikbare chipcapaciteit en de regio waarin die capaciteit staat.