Google voegt TPU 8tx en 8i Max toe

Google voegt TPU 8tx voor vertrouwelijke inferentie en TPU 8i Max voor lange contexten toe aan zijn achtste generatie, meldt het bedrijf op 9 november.

Een organisatie die klantdossiers, broncode of interne documenten door een model laat verwerken, krijgt met 8tx een ontwerp dat gegevens ook tijdens berekeningen moet afschermen. 8i Max richt zich op agenten die de volledige code van grote softwareprojecten of lange video’s tegelijk verwerken en moet per rack meer rekenkracht en geheugenbandbreedte leveren. De keuze krijgt daarmee twee nieuwe criteria: bescherming van data tijdens gebruik en capaciteit voor contextintensieve taken. Google noemt geen prijs, Cloud-startdatum of regio’s, waardoor Nederlandse inkopers nog niet kunnen vaststellen wanneer deze systemen in een Europese zone te boeken zijn.

Twee systemen pakken aparte knelpunten aan

TPU 8tx is bedoeld voor vertrouwelijke inferentie en kleinere trainingsklussen. Het systeem gebruikt hetzelfde silicium als TPU 8t en combineert dat met AMD EPYC-processors van de vijfde generatie. Volgens Google blijven gevoelige data en modelgewichten zo beschermd en geïsoleerd terwijl de processor ermee werkt.

Google koppelt 8tx aan zijn Boardfly-netwerk voor lage vertraging. Het bedrijf claimt tot twee keer lagere latentie dan bij TPU 8t, met bijna geen prestatieverlies door de beveiliging. Op één systeem kunnen teams hun modellen met eigen gegevens verfijnen, grote modellen distilleren naar kleinere modellen en agenten trainen met versterkend leren. Daardoor hoeft gevoelige informatie voor die taken niet tussen aparte clusters te worden verplaatst.

TPU 8i Max pakt een ander probleem aan. Google combineert twee TPU 8i-chips op één pakket. Ten opzichte van 8i verdubbelt dat de rekenkracht, SRAM (snel geheugen op de chip) en de HBM-bandbreedte. Het pakket past in dezelfde rackruimte, zodat een datacenter meer rekenwerk per vierkante meter en per watt kan plaatsen. Google noemt agenten die samen door alle bestanden van een softwareproject werken en systemen die uren video analyseren als voorbeelden van lange contexten waarbij geheugenverkeer de doorvoer kan remmen.

The Decoder beschrijft 8tx en 8i Max als configuraties rond bestaande TPU-processors, niet als een nieuwe chipgeneratie. De nieuwe klantgerichte systemen staan naast Googles gemelde interne Frozen v2-inferencechip voor Gemini, die delen van het model in silicium vastlegt en op 2028 mikt.

De software bepaalt hoe toegankelijk de chips zijn

De twee nieuwe systemen vullen een generatie aan die Google in april introduceerde. TPU 8t is gericht op grootschalige modeltraining; TPU 8i op redeneren met lage vertraging en versterkend leren. Google schreef dat 8t bijna drie keer zoveel rekenprestatie als de vorige generatie zou leveren en 8i 80 procent betere prijs-prestatie voor inferentie zou bieden. Voor Cloud-klanten noemde de aankondiging alleen “soon”, zonder datum of regio. De claims komen van Google zelf; tarieven per klantverzoek ontbreken.

Google werkt ook aan de softwaredrempel. In oktober maakte het TorchTPU open source, zodat PyTorch-modellen via bekende interfaces op TPU’s kunnen draaien. De nieuwe release noemt vLLM, SGLang en de open TPU-agent-suite, nu in preview. Die koppelt met Claude Code, Cursor en Antigravity en automatiseert in gewone taal installatie, knelpuntdiagnose en kernelafstelling. Bestaande PyTorch-code verlaagt daarmee de softwaredrempel, al betekent dat niet dat iedere modelconfiguratie zonder aanpassingen dezelfde prestaties haalt.

Google zegt bijna honderd TPU-klanten te hebben. Met deze toevoegingen introduceert het voor het eerst vier TPU-systemen in één jaar.

Een Nederlandse Cloud-regio is nog niet bekend

Googles aankondiging van 9 november geeft geen algemene beschikbaarheidsdatum, prijs of lijst met regio’s voor 8tx en 8i Max. De actuele regiopagina van Google Cloud noemt in Europa v6e in europe-west4-a en v5p en v5e in europe-west4-b, maar nog geen TPU uit de achtste generatie. Voor Nederlandse klanten is een Europese boekingsroute nog niet gepubliceerd. Google meldt evenmin of de systemen via een besloten test te proberen zijn.

Ook buiten Google Cloud komt een TPU-route op de agenda. Oracle plant Google-TPU’s op OCI vanaf kalenderjaar 2027, met een uitrol over meerdere jaren. De Oracle-aankondiging maakt OCI de eerste hyperscaler buiten Google die Google-TPU’s aanbiedt. De release van oktober noemt de 8t- en 8i-architecturen. Omdat die aankondiging van vóór de twee nieuwe varianten dateert, is niet duidelijk of 8tx en 8i Max ook naar OCI komen. De planning noemt evenmin een specifieke Europese regio.

Prestatieclaims vragen om gelijke workloads

Google noemt voor 8tx “tot twee keer” lagere latentie en bijna geen beveiligingsverlies, maar publiceert bij deze aankondiging geen testopzet, model, aantal gelijktijdige verzoeken of absolute responstijd. Voor 8i Max noemt het bedrijf verdubbelde rekenkracht, SRAM en HBM-bandbreedte, maar geen maximale contextlengte, prijs of tokens per seconde. De omschrijving laat zien welk knelpunt Google wil aanpakken; ze geeft nog geen kosten per verzoek voor een klant.

NVIDIA biedt ook vertrouwelijke verwerking op GPU’s. In een eigen test met acht B200-GPU’s en DeepSeek-R1 behield confidential computing 96,1 tot 98,2 procent van de normale outputdoorvoer, met 1,2 tot 4,3 procent extra tijd per uitvoertoken. Dat is een gecontroleerde meting van NVIDIA op één configuratie, niet een directe vergelijking met TPU 8tx. Een vergelijking tussen de systemen vraagt dezelfde modelversie, invoer, outputlengte en beveiligingsinstellingen.

De twee nieuwe TPU-systemen leggen de nadruk op twee afzonderlijke knelpunten: data beschermen terwijl een model rekent en voldoende geheugenbandbreedte leveren voor lange contexten. Google werkt tegelijk aan chipconfiguraties, software en cloudroutes om die hardware bij externe teams te krijgen. Voor een Nederlandse inkoper bepalen een gepubliceerde regio, een prijs en metingen op de eigen AI-taak wanneer de aangekondigde capaciteit een concrete optie wordt.