Alisina NawabiOpenAI publiceerde dinsdag op de Hot Chips-conferentie de eerste gemeten prestaties van Jalapeno, zijn eigen inferentiechip: 1,5 tot 1,9 keer meer AI-werk per watt dan de Nvidia-systemen waartegen het testte.
Op je OpenAI-rekening verandert daar dit jaar niets door. De chip bestaat voorlopig als engineeringsample, en de eerste exemplaren gaan naar OpenAI's eigen datacenters, niet naar een cloudmenu waar je capaciteit uit kiest. Wat wel verschuift is de onderbouwing onder de prijs die je vanaf volgend jaar betaalt. Tot dinsdag rustte Jalapeno op een claim over prestatie per watt; nu liggen er cijfers waar iedereen op kan schieten. En het eerste dat daarin opvalt: de kostprijs per uitgaand token beweegt vandaag nog niet.
Wat er precies gemeten is
OpenAI draaide Jalapeno op InferenceX, de publieke inferentiebenchmark van SemiAnalysis, met drie open modellen: GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T. Alle scores zijn genormaliseerd op het opgegeven vermogen van de chips. Jalapeno staat op 700 watt, het vergeleken GB200-systeem op 1.200 en de GB300 op 1.400. Gemeten bleef Jalapeno onder de 550 watt.
Op GPT-OSS 120B haalde de chip 85.448 tegen 44.960 gemengde tokens per kilowatt ten opzichte van GB200, bij een antwoordtijd van 1,03 seconde tegen 1,80. Op DeepSeek R1 670B tegenover een GB300 loopt dat verschil in wachttijd op tot 1,65 tegen 5,99 seconde. Voor sterk interactieve werklasten, het profiel van een agent die stap na stap op het vorige antwoord wacht, meldt OpenAI 2,1 tot 4,1 keer meer prestatie. Houd je de decodeersnelheid gelijk aan het beste punt van het Nvidia-systeem, dan lopen de verhoudingen op tot 54 tot 104 keer de doorvoer per kilowatt, afhankelijk van het model.
"De resultaten laten een zeer, zeer significante prestatiesprong zien ten opzichte van de stand van de techniek", zei Richard Ho, verantwoordelijk voor hardware bij OpenAI.
De kanttekeningen staan in de benchmark zelf
SemiAnalysis liet de runs in het lab van OpenAI voor zijn ogen draaien, maar tekent aan dat alle cijfers door OpenAI zelf zijn aangeleverd en dat de volledige suite niet is afgedraaid. Er zijn ook geen AgentX-resultaten, de test met lange context en meerdere beurten die het dichtst bij een productie-agent komt. De gebruikte werklast is 8.000 tokens invoer en 1.000 uitvoer, een profiel waar een chip relatief makkelijk op te tunen valt.
Voor wie inkoopt weegt een tweede kanttekening zwaarder. De vergelijking met Blackwell noemt SemiAnalysis onvolledig, omdat Jalapeno HBM4-geheugen gebruikt en daarmee tegenover Nvidia's Vera Rubin hoort, dat nu al bij klanten staat. Op kosten per uitgaand token ontlopen die twee elkaar nauwelijks. Jalapeno haalde dat resultaat wel zonder speculatief decoderen, een techniek die Rubin in zijn cijfers wel meeneemt en die de kosten per token verder omlaag kan brengen.
Wanneer dit je tokenprijs raakt
De uitrol begint eind dit jaar in zeer kleine volumes binnen OpenAI's eigen infrastructuur, waarna de productie pas in de loop van 2027 opschaalt. OpenAI schrijft er expliciet bij dat het versnellers van Nvidia en andere partners breed blijft inzetten. De onthulling van Jalapeno met Broadcom in juni, met een geplande uitrol op gigawattschaal aan het eind van dit jaar, bevatte nog geen enkel meetcijfer; dat gat is nu gedicht, de leverbaarheid niet.
Wat je vandaag wel kunt afnemen staat een dag eerder op dezelfde conferentie: Nvidia's decode-versneller Groq 3 LPX, die maandag in volle productie ging en bij het Amsterdamse Nebius te huur komt. Wie nu een latency-gevoelige agent draait, kiest daar tussen, niet tussen Jalapeno en Blackwell.
Waar de verschuiving zit
Jalapeno haalt deze cijfers op de A0-versie van het silicium, negen maanden na tapeout, met een B0-versie in de fabriek die ongeveer 25 procent beter presteert per watt. Dat tempo is het echte nieuws: een lab dat zelf een chip ontwerpt haalt in één generatie een gevestigde chipmaker bij op de as waar datacenters tegenaan lopen, namelijk werk per megawatt.
Voor wie op OpenAI bouwt verplaatst dat de vraag. Niet welke chip wint, maar wat er gebeurt als een aanbieder zijn eigen kostenbasis in handen krijgt. De prijs per miljoen tokens daalde al, en sinds midden juli zakte de index van Silicon Data met bijna een kwart omdat de labs hun prijslijsten aanpasten. Vanaf 2027 komt daar een tweede knop bij, die alleen OpenAI kan indrukken: goedkoper serveren op eigen silicium is winst die in de prijslijst kan landen of in de marge kan blijven zitten. Welke van de twee het wordt, is de enige vraag uit deze benchmark die op je eigen factuur terechtkomt.
Veelgestelde vragen
Van tokenprijs naar werkend systeem
Wat een chip in een benchmark doet, merk je pas als AI echt in je proces zit. Ik denk mee over die keuze, ontwerp de opzet en bouw en automatiseer hem, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
