AMD en Intel bundelen PyTorch-optimalisaties in oneDNN

AMD en Intel maken oneDNN de standaard open-source route voor PyTorch-optimalisatie op x86. AMD brengt zijn ZenDNN-optimalisaties in de bibliotheek onder, maakten de bedrijven op 20 oktober bekend.

Eén gedeelde bibliotheek moet teams die PyTorch op AMD EPYC- of Intel Xeon-servers draaien minder aparte optimalisatieroutes laten onderhouden. De afspraak is nog geen nieuwe release: AMD en Intel noemen geen versie, datum of lijst met ZenDNN-bewerkingen die overgaan.

oneDNN wordt de gezamenlijke basis

oneDNN is een bestaande open-sourcebibliotheek met geoptimaliseerde rekenbewerkingen voor deep learning. De bibliotheek werkt met CPU’s en GPU’s en kiest optimalisaties op basis van de beschikbare processorinstructies. PyTorch gebruikt oneDNN al voor zulke berekeningen, zodat ontwikkelaars niet voor iedere processor aparte code hoeven te schrijven.

De x86 Ecosystem Advisory Group adviseerde oneDNN als standaardbibliotheek voor x86-versnelling binnen PyTorch. AMD treedt tegelijk toe als lid van de stuurgroep van de UXL Foundation, die de bibliotheek verder ontwikkelt. Zo krijgt AMD een formele rol in het open-sourceproject waaraan Intel al langer bijdraagt.

De bestaande software geeft context voor de integratie. Phoronix beschrijft ZenDNN als AMD’s afgesplitste codeversie met een programmeerinterface die compatibel is met oneDNN. AMD wil zijn CPU-optimalisaties in die gedeelde bibliotheek onderbrengen, die PyTorch al kan aanroepen. De aankondiging houdt de integratie binnen oneDNN; een nieuwe PyTorch-interface wordt niet genoemd. Welke code precies wordt overgezet en hoe oneDNN de optimalisatie aan een processor koppelt, is nog niet uitgewerkt.

De eerste inzet zit bij LLM-inferentie

De huidige ZenDNN-route geeft een concrete aanwijzing voor de eerste toepassingen. AMD’s ZenDNN 6.0 voegt FP16-paden toe voor MatMul, BatchMatMul en Embedding en noemt gefuseerde MoE-bewerkingen, attention-kernels en quantisatie. De FP16-paden zijn gericht op de zesde generatie EPYC; MoE, attention en quantisatie zijn bedoeld voor inferentie op de vijfde generatie. Deze bewerkingen komen voor bij het serveren van grote taalmodellen (LLM’s) op EPYC-processors, onder meer via vLLM. De integratie met oneDNN heeft nog geen openbare lijst met bewerkingen, dus de bestaande ZenDNN-dekking wijst het werkgebied aan, maar bevestigt niet wat als eerste wordt samengevoegd.

De test van AMD Performance Labs van 26 juni maakt de huidige AMD-route tastbaar. Op één EPYC 9755-socket met 96 vastgezette CPU-kernen verwerkte vLLM 1.000 prompts voor Llama 3.1 8B. Met 512 invoer- en 512 uitvoertokens per prompt kwam native BF16 uit op 168,63 outputtokens per seconde. ZenDNN in BF16 haalde 202,64 tokens per seconde, ongeveer 20 procent meer. Met DA8W8-quantisatie rapporteerde AMD 252,9 tokens per seconde, ongeveer 50 procent boven de native BF16-uitkomst.

Quantisatie verandert ook de nauwkeurigheid. In AMD’s vijf-shot GSM8K-meting scoorde Llama 3.1 8B 0,8438 in BF16 en 0,8415 met DA8W8, een afname van 0,27 procent ten opzichte van BF16. De cijfers laten zien waar de optimalisaties op mikken en welke afweging erbij hoort: meer tokens per seconde op een EPYC-systeem, met een kleine verschuiving in de gemeten nauwkeurigheid. Ze zeggen nog niets over een Intel-systeem of de uiteindelijke oneDNN-versie.

PyTorch krijgt routes naar meer hardware

De samenwerking staat naast recente stappen om PyTorch op meer soorten hardware te laten draaien. Amazon opende de TorchNeuron-bèta voor Trainium2 en Trainium3 onder Apache 2.0; de PyTorch Foundation beschrijft die native backend voor de standaard PyTorch-API’s en torch.compile. Google maakte TorchTPU open source voor bestaande PyTorch-workloads met minimale codewijzigingen. De Google Cloud-aankondiging noemt integraties met vLLM, SGLang en TorchTitan.

Die routes richten PyTorch op specifieke AI-versnellers van cloudproviders. AMD en Intel proberen de optimalisaties voor twee CPU-merken binnen één bestaande bibliotheek te bundelen. AMD’s Helion-blauwdruk schetst voor hyperscalers een rack met alleen CPU’s en zesde generatie EPYC voor agentuitvoering en aparte infrastructuur voor modelinferentie. De partnerconfiguraties van die Helion-racks staan nog in ontwikkeling en zijn volgens de planning pas in november beschikbaar. Voor een team dat modellen op eigen EPYC- of Xeon-servers uitvoert, is de oneDNN-afspraak een softwarekeuze binnen x86; de Trainium- en TPU-routes vragen om aparte hardware, runtime en beschikbaarheid. Dezelfde PyTorch-codebasis kan zo meer opties krijgen, terwijl de verschillen in chip en backend blijven bestaan.

De roadmap mist nog de integratiedetails

De aankondiging bevat geen datum voor de eerste oneDNN-release met ZenDNN-code, geen lijst van ondersteunde operators en geen gedeelde benchmark op AMD- en Intel-processors. De woorden “standaardbibliotheek” betekenen daarom nog niet dat iedere PyTorch-taak automatisch sneller wordt of dat bestaande omgevingen zonder aanpassing wisselen. De gebruikte bewerkingen, precisie, processorinstructies en softwareversies bepalen welke optimalisaties daadwerkelijk worden aangeroepen.

Ook de benchmark vraagt om een precieze lezing. AMD Performance Labs testten ZenDNN 6.0 op AMD’s EPYC 9755 met vLLM; de cijfers komen van de leverancier zelf en vergelijken geen Xeon-systeem. De gemeten winst is dus bewijs voor de huidige AMD-implementatie onder die testinstellingen, niet voor het resultaat van de aangekondigde samenwerking. De nauwkeurigheidsmeting op GSM8K is bovendien één taak, geen algemene garantie voor iedere toepassing.

Voor organisaties met CPU-inferentie wordt de praktische winst pas meetbaar wanneer een release de overgenomen bewerkingen, ondersteunde CPU-generaties en vereiste PyTorch-versies noemt. Een vergelijking op hetzelfde model, dezelfde precisie en gelijke serverconfiguraties kan dan uitwijzen of de optimalisatie onderhoud en rekentijd verlaagt op zowel EPYC als Xeon. Tot die gegevens beschikbaar zijn, beschrijft de aankondiging de richting van de softwareontwikkeling, maar nog geen prestatiebelofte voor een Nederlandse productieomgeving.