Alisina NawabiHandgeschreven CUDA- en Triton-kernels vergen apart portwerk
ActuIA meldt dat handgeschreven CUDA- en Triton-kernels niet automatisch met de PyTorch-apparaatwissel meegaan: AWS documenteert NKI voor Trainium en Googles actuele matrix markeert Pallas en Tokamax als gevalideerd en Helion als experimenteel (AWS-documentatie, TorchTPU-matrix), terwijl de TorchTPU-route Pallas en JAX gebruikt voor maatwerkkernels. Deepgram kreeg Nova-3 na TorchNeuron-compilatie volledig op Trainium2 zonder geconstateerde CPU-terugval, maar het overzetten en tunen met AWS duurde maanden: het team verving lagen door NKILib-kernels, schreef een Conv2d-kernel vanaf nul in NKI en bouwde een Rust-servingruntime. Een handgetunede FFN-kernel halveerde de uitvoeringstijd tegenover de referentie bij batch 96 en de herschreven depthwise Conv1d was 1,5 keer sneller; de Conv2d-kernel versnelde de module tot 50 keer bij batches tot 32, en de Rust-runtime verhoogde de doorvoer met 7,5 procent tegenover Python-multiprocessing. De eindconfiguratie draaide acht replica’s op één trn2.3xlarge en verwerkte volgens AWS 11 tot 70 procent meer audio per dollar dan Deepgrams niet nader genoemde eerdere compute-opties voor offline batches, berekend met instanceprijzen tijdens de test. Voor Nederlandse teams hoort het porteren van eigen kernels dus bij de planning en kosten van een Trainium- of TPU-proef; de AWS-meting voorspelt niet wat een andere workload oplevert.
TorchNeuron is sinds 20 oktober als openbare bèta beschikbaar voor Trainium2 en Trainium3; Amazon zegt dat teams bestaande PyTorch-workloads onder Apache 2.0 op AWS-chips kunnen testen.
Een Nederlands AWS-team kan nu een bestaand PyTorch-model op Trainium beproeven, mits de gebruikte onderdelen worden ondersteund en er geschikte capaciteit is. Daarmee kan de organisatie de eigen doorvoer, rekentijd en kosten naast de huidige hardware leggen. De EC2-regiolijst noemt geen Trn2 in Frankfurt, Ierland of Stockholm en vermeldt Trn3 momenteel nergens. Voor een proef met gegevens die binnen de EU moeten blijven, is de regio dus een selectiecriterium.
De repository legt de testomgeving vast
De nieuwe code staat in de AWS Neuron-repository onder de naam torch-neuronx. Het huidige versieoverzicht koppelt de bèta aan PyTorch 2.14.0, Python 3.12, 3.13 of 3.14 en Neuron SDK 2.33. De compatibiliteitsmatrix vermeldt release 2.14.3.0.x voor Trainium2- en Trainium3-instances.
Voor bestaande AWS Neuron-gebruikers is de pakketnaam extra belangrijk. De README zegt dat oudere torch-neuronx-versies bij de eerdere XLA-route horen. De nieuwe native backend heeft dus een eigen versie- en installatiepad. De README raadt een vooraf ingerichte machine-image voor Neuron (DLAMI) of Deep Learning Container aan. Een eigen Linux-installatie vraagt ook de Neuron-driver en runtime. De ondersteuning voor torch.accelerator, torch.compile en FSDP2 laat zien welke bestaande PyTorch-routes teams kunnen proberen.
Open source geldt hier voor de software. Apache 2.0 maakt de backendcode inspecteerbaar en aanpasbaar. De AI-chip blijft een AWS-instance. Een team moet dus zowel codecompatibiliteit als toegang tot de juiste cloudcapaciteit regelen.
De eigen workload levert de benchmark
De PyTorch-beschrijving noemt torch.profiler en Neuron Explorer. De backend gebruikt PyTorchs PrivateUse1-aansluiting en de profiler volgt activiteiten van framework tot hardware en bronregels. Zo kan een team zien waar modeltijd in de code, runtime of accelerator zit voordat het kosten vergelijkt.
Amazon liet in een eigen demonstratie hetzelfde trainingsscript op een gangbare chip en op Trainium lopen. Het bedrijf meldt dat het model met alleen een apparaatinstelling dezelfde dingen in hetzelfde tempo leerde. De aankondiging noemt geen modelgrootte, instanceconfiguratie, doorvoer, looptijd of rekening. Het is dus een compatibiliteitsdemonstratie, geen openbare prijs-prestatiebenchmark voor bedrijfsworkloads.
Er zijn ook voorbeelden van gebruik achter de schermen. SiliconANGLE meldde dat spraak-AI-bedrijf Cartesia inferentie op Trainium draaide en het Lieber Institute AI voor medisch onderzoek verkende. Dat laat zien dat de tool meer dan een demo kent. De voorbeelden bevatten geen gedeelde cijfers waarmee een ander bedrijf kosten of resultaten kan voorspellen.
De bèta verandert de toegang tot de proef, niet automatisch de dekking voor elk model. De API-compatibiliteitslijst laat zien welke onderdelen worden ondersteund. Een team moet die lijst naast de eigen modelcode leggen.
AWS publiceert geen TorchNeuron-benchmark
De AWS-productpagina zegt dat Trainium2 30 tot 40 procent betere prijs-prestatie biedt dan EC2 P5e- en P5en-instances. Die bandbreedte vergelijkt Trainium2 met twee specifieke GPU-instances. Het is Amazons algemene claim over Trn2, geen TorchNeuron-resultaat of tariefgarantie voor een PyTorch-model. De aankondiging deelt geen prijsvergelijking per model of Nederlandse regio.
De Capacity Blocks-prijslijst zet een trn2.3xlarge met één Trainium2-chip op 2,235 dollar per instance-uur in Hyderabad. Dit is een vooraf gereserveerd capaciteitstarief; voor het besturingssysteem kunnen aparte tarieven gelden. Het bedrag is geen on-demand prijs voor een Europese regio. De openbare licentie zegt daardoor niets over de kosten van een concrete proef.
Google bouwt tegelijk een PyTorch-route voor TPU
Google bouwt eveneens een native PyTorch-route voor TPU. Het bedrijf schrijft dat bestaande modellen doorgaans met weinig wijzigingen kunnen starten, maar noemt hardware-afstemming voor hogere prestaties. Als voorbeeld noemt Google attention-heads van 64 dimensies aanpassen naar 128 of 256 om TPU-matrixeenheden beter te benutten.
Amazon onderzocht in juni ook of het Trainium-racks rechtstreeks aan datacenters buiten AWS kon verkopen. Die stap ging over toegang tot de hardware. De publieke bèta opent nu de softwarelaag voor teams die op AWS werken.
Google en Amazon bouwen allebei een native PyTorch-route naar eigen accelerators, waardoor softwarecompatibiliteit naast chipcapaciteit meetelt. Voor een Nederlands team begint de vergelijking in een AWS-regio waar de juiste Trainium-generatie beschikbaar is. De zakelijke waarde volgt uit prestaties en kosten op het model dat de organisatie werkelijk gebruikt.
Veelgestelde vragen
Van AI-plan naar werkende toepassing
Ik denk mee over je AI-vraag, ontwerp de oplossing en realiseer het hele traject tot livegang. Waar het kan automatiseer ik processen en houd ik de techniek self-hosted.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
