Alisina NawabiGoogle maakt TorchTPU open source, een route om PyTorch op TPU’s te draaien. Teams kunnen modellen met beperkte codewijzigingen testen, maar de ondersteunde modellen en chipregio’s begrenzen de keuze.
Voor Nederlandse organisaties verandert vooral de mogelijkheid om bestaande PyTorch-workloads op Google-hardware te beproeven zonder direct een nieuwe frameworkstack te kiezen. Dat kan een extra route opleveren voor training of inference en maakt een GPU-TPU-test toegankelijker. De zakelijke uitkomst hangt nog af van modeldekking, prestaties en of de benodigde TPU-generatie beschikbaar is in een passende Google Cloud-regio. TorchTPU is sinds 20 oktober open source.
PyTorch krijgt een TPU-route
TorchTPU is samen met het PyTorch-team ontwikkeld en geeft PyTorch toegang tot Google’s TPU’s via bekende apparaat- en compileerinterfaces. Een ontwikkelaar installeert de torch_tpu-bibliotheek en kiest met torch.device("tpu") de chip. Voor compilatie gebruikt het team torch.compile(backend="tpu"). TorchTPU sluit aan op torch.distributed, waaronder DDP, FSDP2 en DTensor. De Google Cloud-handleiding beschrijft installatie, API’s en distributieroutes.
Een model kan eerst interactief worden getest en daarna worden gecompileerd of verdeeld over chips. Google noemt integraties voor Transformers v5, Diffusers, vLLM en SGLang.
TorchTPU ondersteunt niet automatisch elk PyTorch-model. TorchTPU gebruikt PyTorch-uitbreidingen; Google’s compilerlagen XLA en StableHLO vertalen de uitvoering naar de TPU. Op 7 april meldde Google dat Fused Eager in tests 50 procent tot meer dan 100 procent sneller was dan Strict Eager. Die meting vergelijkt uitvoermodi op TPU’s. Het is geen GPU-vergelijking en zegt niet hoeveel sneller elke workload wordt.
De compatibiliteit heeft grenzen
De featurematrix markeert v5e, v5p, v6e en v7 als gevalideerde TPU-generaties. Voor transformers noemt die Qwen, Llama, Muse Glimmer en Gemma. WAN en FLUX staan bij beeldgeneratie. GLM, Kimi, DeepSeek en GPT-OSS zijn experimenteel. De matrix maakt onderscheid tussen gevalideerde en experimentele ondersteuning. Open broncode is dus geen bewijs dat elke modelconfiguratie al doorlopend is getest.
De regio bepaalt ook welke proef uitvoerbaar is. Google Cloud biedt v5e en v5p aan in europe-west4-b en v6e in europe-west4-a, terwijl de gepubliceerde Ironwood v7x-zones in de Verenigde Staten liggen. De benchmark van vandaag gebruikt die v7x-chips. Een Nederlands team kan in Europa TPU’s testen, maar kan de Ironwood-resultaten niet direct op die Europese capaciteit toepassen.
De praktische migratie hangt af van de gebruikte operators, precisie, geheugenindeling en compileerroute. Google noemt ondersteuning voor populaire standaard-API’s, maar adviseert voor optimale prestaties soms aanpassingen aan model en kernels. De repository heeft een Apache 2.0-licentie en accepteert externe bijdragen. Dat maakt controle en aanpassingen mogelijk. Productiegeschiktheid moet nog per model en chip worden vastgesteld.
Benchmarks zijn geen prijslijst
Google rapporteert 57 procent Model FLOPs Utilization voor Llama 3 405B op 128 tot 1.024 v7x-chips. Dat percentage geeft aan hoeveel van de theoretische rekenkracht de opstelling benut. Voor Qwen3 235B meldt Google 32,42 procent op 1.024 chips en 30,51 procent op 8.192 chips. Het gaat om eigen, geoptimaliseerde trainingsopstellingen. De cijfers laten zien dat grote modellen op de route kunnen draaien, maar zeggen niet wat een Nederlandse organisatie per trainingsrun of miljoen tokens betaalt.
De timing past bij een bredere poging om PyTorch minder aan één type accelerator te binden. Amazon opende op 20 oktober de TorchNeuron-bèta voor Trainium2 en Trainium3. Die route laat bestaande PyTorch-modellen met een chipinstelling naar Trainium bewegen. Google en Amazon leggen zo allebei een eigen backend naast PyTorch. Eerder beschreef FLOH hoe zes partijen tussen juni en juli eigen AI-chips of hardware-agnostische software ontwikkelden. De terugkerende inzet is dat teams bestaande code makkelijker tussen hardwareopties kunnen beproeven.
TorchTPU maakt de softwaredrempel lager, maar laat de kosten- en prestatievraag open. Een bruikbare vergelijking begint daarom met één representatieve workload, een concrete Europese regio en dezelfde modelinstellingen op de huidige GPU-route en de TPU-route. De keuze wordt pas tastbaar wanneer modelkwaliteit, doorvoer, wachttijd, benodigde optimalisatie en cloudtarief naast elkaar staan.
Veelgestelde vragen
Van proef naar platform
Ik denk mee over de juiste opzet, ontwerp de software en realiseer het hele traject van eerste proef tot live product. Waar het past automatiseer ik het beheer en houd ik de oplossing self-hosted.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
