AI-agents verbruiken tot 136 keer meer energie dan een chatbotvraag

AI-agents verbruiken per opdracht 62 tot 136 keer meer energie dan een gewone chatbotvraag, blijkt uit onderzoek van het Zuid-Koreaanse instituut KAIST dat de infrastructuurkosten van agentische AI voor het eerst systematisch doormeet.

Voor een bedrijf dat overweegt AI-agents zelfstandig taken te laten uitvoeren, verschuift dat de rekensom. De kosten van zo'n agent zitten niet alleen in de tokens die hij verstookt, maar in de rekenkracht en stroom eronder: een vraag die een chatbot afhandelt met 2,55 wattuur, kost als volledige agent al gauw 348 wattuur. En de agent doet er tot 153 keer langer over.

Wat KAIST precies mat

Het onderzoeksteam onder leiding van professor Minsoo Rhu vergeleek agentische systemen, die meerdere keren een taalmodel aanroepen en gereedschappen aansturen, met een gewone eenmalige modelvraag. Een agent op basis van een taalmodel met 70 miljard parameters verbruikte gemiddeld 348,41 wattuur per opdracht, 136,5 keer zo veel als hetzelfde model dat een simpele vraag beantwoordt.

Het exacte getal hangt af van welk agent-raamwerk je kiest. In de metingen kostte de Reflexion-aanpak die 348 wattuur, terwijl het zuinigere LATS-raamwerk op 158 wattuur bleef, 62,1 keer de basisvraag. De onderzoekers testten vijf redeneermethodes, waaronder ReAct en LATS, op Llama-modellen van 8 en 70 miljard parameters, over benchmarks als HotpotQA, WebShop en MATH. Het patroon was overal hetzelfde: hoe meer een agent redeneert en stappen zet, hoe harder het verbruik oploopt. ReAct alleen al deed 9,2 keer zo veel modelaanroepen als een enkele redeneerstap.

De helft van de tijd staat de GPU stil

Een groot deel van die kost is verspilling. Terwijl een agent wacht op een extern gereedschap, een zoekopdracht of een API, staat de dure GPU niets te doen: tot 54,5 procent van de uitvoeringstijd is de kaart inactief, aldus het onderzoek. Je betaalt dus voor rekenkracht die zit te wachten.

Opgeschaald wordt dat een fors plaatje. Als je 13,7 miljard van zulke agent-opdrachten per dag zou draaien, becijfert KAIST een stroomvraag van 198,9 gigawatt, ongeveer de helft van het gemiddelde Amerikaanse elektriciteitsverbruik.

Wat dit betekent voor wie agents wil inzetten

De praktische les zit in die spreiding. Een agent is niet een vaste kostenpost: de keuze van het raamwerk scheelt in deze metingen ruwweg een factor twee in energie, en de keuze om uberhaupt een volledige agent in te zetten in plaats van een enkele modelvraag scheelt een factor honderd. Voor routinewerk dat geen redeneerlussen nodig heeft, is een agent simpelweg dure overkill.

Dat sluit aan op een kostenprobleem dat al zichtbaar was: hoewel de tokenprijs daalde terwijl het verbruik van AI-agenten juist 4,5 keer omhoog schoot, stijgt de totale rekening mee. Dit onderzoek legt de laag eronder bloot: naast tokens betaal je voor energie en rekentijd, en juist die schalen het hardst met agentisch gedrag.

"Dit onderzoek laat voor het eerst kwantitatief zien, niet alleen hoe AI slimmer wordt, maar ook hoeveel elektriciteit en kosten nodig zijn om die intelligentie te draaien en in stand te houden", zei Rhu bij de presentatie.

Het werk, gepresenteerd op het IEEE-symposium HPCA, verschuift de discussie over agentische AI van of het kan naar wat het per keer kost. Naarmate agents van experiment naar productie gaan, wordt de energie- en rekenkost geen voetnoot maar een ontwerpkeuze: welk raamwerk, welk model, en wanneer een agent de moeite waard is tegenover een enkele vraag.