Amazon opent TorchNeuron-bèta voor PyTorch op Trainium

TorchNeuron is sinds 20 oktober als openbare bèta beschikbaar voor Trainium2 en Trainium3; Amazon zegt dat teams bestaande PyTorch-workloads onder Apache 2.0 op AWS-chips kunnen testen.

Een Nederlands AWS-team kan nu een bestaand PyTorch-model op Trainium beproeven, mits de gebruikte onderdelen worden ondersteund en er geschikte capaciteit is. Daarmee kan de organisatie de eigen doorvoer, rekentijd en kosten naast de huidige hardware leggen. De EC2-regiolijst noemt geen Trn2 in Frankfurt, Ierland of Stockholm en vermeldt Trn3 momenteel nergens. Voor een proef met gegevens die binnen de EU moeten blijven, is de regio dus een selectiecriterium.

De repository legt de testomgeving vast

De nieuwe code staat in de AWS Neuron-repository onder de naam torch-neuronx. Het huidige versieoverzicht koppelt de bèta aan PyTorch 2.14.0, Python 3.12, 3.13 of 3.14 en Neuron SDK 2.33. De compatibiliteitsmatrix vermeldt release 2.14.3.0.x voor Trainium2- en Trainium3-instances.

Voor bestaande AWS Neuron-gebruikers is de pakketnaam extra belangrijk. De README zegt dat oudere torch-neuronx-versies bij de eerdere XLA-route horen. De nieuwe native backend heeft dus een eigen versie- en installatiepad. De README raadt een vooraf ingerichte machine-image voor Neuron (DLAMI) of Deep Learning Container aan. Een eigen Linux-installatie vraagt ook de Neuron-driver en runtime. De ondersteuning voor torch.accelerator, torch.compile en FSDP2 laat zien welke bestaande PyTorch-routes teams kunnen proberen.

Open source geldt hier voor de software. Apache 2.0 maakt de backendcode inspecteerbaar en aanpasbaar. De AI-chip blijft een AWS-instance. Een team moet dus zowel codecompatibiliteit als toegang tot de juiste cloudcapaciteit regelen.

De eigen workload levert de benchmark

De PyTorch-beschrijving noemt torch.profiler en Neuron Explorer. De backend gebruikt PyTorchs PrivateUse1-aansluiting en de profiler volgt activiteiten van framework tot hardware en bronregels. Zo kan een team zien waar modeltijd in de code, runtime of accelerator zit voordat het kosten vergelijkt.

Amazon liet in een eigen demonstratie hetzelfde trainingsscript op een gangbare chip en op Trainium lopen. Het bedrijf meldt dat het model met alleen een apparaatinstelling dezelfde dingen in hetzelfde tempo leerde. De aankondiging noemt geen modelgrootte, instanceconfiguratie, doorvoer, looptijd of rekening. Het is dus een compatibiliteitsdemonstratie, geen openbare prijs-prestatiebenchmark voor bedrijfsworkloads.

Er zijn ook voorbeelden van gebruik achter de schermen. SiliconANGLE meldde dat spraak-AI-bedrijf Cartesia inferentie op Trainium draaide en het Lieber Institute AI voor medisch onderzoek verkende. Dat laat zien dat de tool meer dan een demo kent. De voorbeelden bevatten geen gedeelde cijfers waarmee een ander bedrijf kosten of resultaten kan voorspellen.

De bèta verandert de toegang tot de proef, niet automatisch de dekking voor elk model. De API-compatibiliteitslijst laat zien welke onderdelen worden ondersteund. Een team moet die lijst naast de eigen modelcode leggen.

AWS publiceert geen TorchNeuron-benchmark

De AWS-productpagina zegt dat Trainium2 30 tot 40 procent betere prijs-prestatie biedt dan EC2 P5e- en P5en-instances. Die bandbreedte vergelijkt Trainium2 met twee specifieke GPU-instances. Het is Amazons algemene claim over Trn2, geen TorchNeuron-resultaat of tariefgarantie voor een PyTorch-model. De aankondiging deelt geen prijsvergelijking per model of Nederlandse regio.

De Capacity Blocks-prijslijst zet een trn2.3xlarge met één Trainium2-chip op 2,235 dollar per instance-uur in Hyderabad. Dit is een vooraf gereserveerd capaciteitstarief; voor het besturingssysteem kunnen aparte tarieven gelden. Het bedrag is geen on-demand prijs voor een Europese regio. De openbare licentie zegt daardoor niets over de kosten van een concrete proef.

Google bouwt tegelijk een PyTorch-route voor TPU

Google bouwt eveneens een native PyTorch-route voor TPU. Het bedrijf schrijft dat bestaande modellen doorgaans met weinig wijzigingen kunnen starten, maar noemt hardware-afstemming voor hogere prestaties. Als voorbeeld noemt Google attention-heads van 64 dimensies aanpassen naar 128 of 256 om TPU-matrixeenheden beter te benutten.

Amazon onderzocht in juni ook of het Trainium-racks rechtstreeks aan datacenters buiten AWS kon verkopen. Die stap ging over toegang tot de hardware. De publieke bèta opent nu de softwarelaag voor teams die op AWS werken.

Google en Amazon bouwen allebei een native PyTorch-route naar eigen accelerators, waardoor softwarecompatibiliteit naast chipcapaciteit meetelt. Voor een Nederlands team begint de vergelijking in een AWS-regio waar de juiste Trainium-generatie beschikbaar is. De zakelijke waarde volgt uit prestaties en kosten op het model dat de organisatie werkelijk gebruikt.