Amazon laat bestaande PyTorch-code op Trainium draaien met TorchNeuron

Amazon meldt dat TorchNeuron bestaande PyTorch-code met één configuratiewijziging op AWS Trainium2 en Trainium3 laat draaien; de openbare bèta en Apache 2.0-vrijgave volgen op 20 oktober.

Voor teams die al met PyTorch werken, zakt de eerste drempel om Trainium op een bestaande workload te proberen: er hoeft minder code voor een andere chip te worden omgebouwd. Daardoor wordt een kosten- of capaciteitsvergelijking binnen AWS eerder haalbaar. De aankondiging belooft geen algemeen prijsvoordeel. Dat moet per model en taak blijken.

De code vraagt om een andere chipinstelling

In de eenvoudigste voorbeelden zit de wijziging in de apparaatkeuze: een model verhuist naar neuron. Moderne PyTorch-code die de hardware-onafhankelijke torch.accelerator-API gebruikt, kan volgens de ontwikkelaars ongewijzigd draaien. Voor een gecompileerd model moet de ontwikkelaar de Neuron-backend instellen. Dat is een kleiner beginpunt dan een herschrijving, maar geen garantie dat elk bestaand script zonder werk past.

TorchNeuron werkt op Trainium2 en Trainium3. Het biedt een directe uitvoermodus voor onderzoek en foutopsporing, en torch.compile om modellen voor productie te optimaliseren. Voor grotere workloads noemt Amazon ondersteuning voor PyTorch-distributie-API’s, waaronder FSDP2, tensor parallelism en pipeline parallelism. Een team kan dus zowel een eerste modelproef als een deel van een grotere trainingsopzet testen. Voor productie blijft de vraag hoe de eigen modellen en configuraties draaien.

De software wordt op 20 oktober als openbare bèta en onder Apache 2.0 gepubliceerd. De broncode staat vanaf die datum in Amazons Neuron-repository. De open licentie maakt de backend inspecteerbaar en aanpasbaar. De hardware blijft onder Amazons beheer: de aankondiging beschrijft het gebruik van Trainium via AWS.

Amazon verlaagt de softwaredrempel

De nieuwe aankondiging volgt op Amazons plannen voor de chips zelf. In juni onderzocht Amazon of het Trainium-racks rechtstreeks aan datacenters buiten AWS kon verkopen. Dat ging over de distributie van hardware. TorchNeuron richt zich op de softwarelaag waarmee bestaande PyTorch-workloads naar Amazons chips kunnen bewegen. De aankondiging van vandaag bevestigt geen externe rackverkoop.

Daarmee raakt Amazon aan het voordeel dat Nvidia met CUDA heeft opgebouwd. Een groot deel van de AI-code en tooling is voor die softwarestack gemaakt, waardoor overstappen meer vraagt dan een andere chip huren. De strijd om alternatieven speelde ook in de reeks waarin zes partijen in juni en juli eigen AI-chips of hardware-onafhankelijke software ontwikkelden. Een vergelijkbare PyTorch-route is er bij Google. Het bedrijf werkt aan TorchTPU, zodat bestaande modellen op TPU’s met weinig wijzigingen kunnen draaien. Google merkt zelf op dat teams hun model soms alsnog op de eigenschappen van de nieuwe chip moeten afstemmen. Hardwaregerichte aanpassingen kunnen nodig blijven voor optimale TPU-prestaties.

De eerste resultaten zijn bedrijfsclaims

TorchNeuron draait sinds eind 2025 in een besloten bèta, waarin meer dan dertig bedrijven en interne Amazon-teams het gebruiken, meldt GeekWire. Spraak-AI-bedrijf Deepgram zegt dat zijn eigen benchmark ongeveer 60 procent meer audio per dollar verwerkte op Trainium dan op de GPU-opstelling die het daarvoor gebruikte. Dat is een concreet praktijkvoorbeeld, maar geen onafhankelijke vergelijking voor andere modellen: GeekWire publiceert geen details over modelversie, hardwareconfiguratie of meetmethode. Deepgrams benchmark meldt circa 60 procent meer audio per dollar.

Voor een Nederlandse organisatie is dat verschil relevant als er al een omvangrijke PyTorch-workload op AWS draait. De overstap kan eerder technisch worden getest, maar de leverancier claimt hiermee geen vaste kostenbesparing. De vergelijking blijft afhankelijk van doorvoer, wachttijd, beschikbaarheid, energiegebruik en hoeveel optimalisatie de eigen modellen vragen. De publieke bèta maakt die proef toegankelijker; de uitkomst voor een productieomgeving volgt pas uit eigen metingen.

De testdekking kent nog gaten

Amazons aankondiging spreekt over honderden duizenden modellen per build. De technische PyTorch-pagina beschrijft een doorlopende sweep van 100.000 Hugging Face-modellen. De bronnen leggen niet uit of dat verschillende testreeksen zijn. De ontwikkelaars schatten dat die modellen, gemeten naar downloads, 99,9 procent van het daadwerkelijke gebruik afdekken. De sweep draait ieder model in een beperkte maar representatieve configuratie. Dat is een brede selectie, geen bewijs dat iedere functie van ieder model al op Trainium werkt.

De gepubliceerde testcijfers laten zien waarom dat onderscheid telt. In een PyTorch-testserie uit augustus waren er ongeveer 154.000 testuitkomsten. Zo’n 69.000 tests werden met reden overgeslagen: circa 30.000 door algemene toelatingsregels van PyTorch en ongeveer 39.000 bewust door Neuron. Binnen die laatste groep hadden ongeveer 22.000 tests betrekking op operators waarvoor nog geen Neuron-vertaling beschikbaar was. De eerste versie ondersteunt onder meer geen sparse tensors en dynamische of symbolische vormen. De testpublicatie specificeert zowel de 100.000-modellensweep als de overgeslagen PyTorch-tests.

Voor teams die Trainium overwegen, zegt een werkend script nog weinig. De relevante vragen zijn welke operators op de chip draaien, welke op de processor blijven en hoe de prestaties zich na optimalisatie houden. Dezelfde keuzevrijheid die TorchNeuron belooft, begint met vergelijken op die details.

Met de bèta van 20 oktober kan iedere ontwikkelaar de route zelf proberen. Voor een Nederlandse organisatie wordt de chipkeuze daardoor eerder een meetbare proef met bestaande PyTorch-code. Hoeveel werk echt zonder aanpassing draait en wat dat per taak kost, blijft de uitkomst die de eigen workload moet leveren.