CLEER schat energie en uitstoot van gesloten AI-modellen

CLEER schat energieverbruik en uitstoot van gesloten AI-modellen, meldt Sustainable AI Group op 29 september, met directe metingen aan open modellen als basis voor de gesloten-modelschatting.

Voor een Nederlandse organisatie die AI via API’s inkoopt, maakt CLEER de geschatte energie per model vergelijkbaar naast kosten en kwaliteit. De geschatte uitstoot van ingekochte AI-diensten kan de Scope 3-voetafdruk, de uitstoot in je waardeketen, concreter maken; emissies van cloud- en AI-leveranciers tellen daarin mee.

Modelkeuze is meer dan prijs

De eerste resultaten van Sustainable AI Group laten zien dat modelkeuze voor dezelfde taak meer dan dertig keer verschil in geschatte energie kan opleveren. In ongeveer één op de vijf directe vergelijkingen had het goedkopere model juist de hogere energieschatting.

Voor hetzelfde model gebruikte een typische agentsessie 27 keer zoveel energie als een typische chatsessie; een zware agentsessie kwam boven honderd keer uit. Dit zijn representatieve workloads, geen vaste factor voor elke agentsessie. De voorbeelden laten zien dat ook de hoeveelheid en vorm van AI-gebruik meetellen wanneer teams verzoeken over modellen verdelen.

Etsy hielp CLEER ontwikkelen en testen en wordt de eerste zakelijke gebruiker, zegt het bedrijf. Sustainable AI Group meldt dat CLEER-waarden al naast kosten in Etsy’s interne meetgegevens voor engineers staan, zodat teams routes kunnen vergelijken voordat het verbruik plaatsvindt.

Trellis meldt dat de openbare toepassing gratis is en bedrijven datasets voor doorlopend gebruik in hun eigen boekhoud- of CO₂-systemen kunnen licentiëren.

Open meten, gesloten modellen schatten

De Sustainable AI Group zegt meer dan twintig open modellen te hebben getest in ruim 2.400 testruns met 425 miljoen tokens. De energie van die modellen wordt direct gemeten binnen de geteste hardware en instellingen. Voor gesloten modellen zoals GPT, Claude en Gemini is dat niet mogelijk: een klant kan niet zien welke servers een aanbieder voor een verzoek inzet. CLEER koppelt gesloten modellen aan verwante open modellen en gebruikt de benchmarkmetingen en gepubliceerde snelheidsgegevens om energie per in- en outputtoken te schatten. De uitkomst geeft een gemiddelde met een standaardafwijking als maat voor spreiding, geen exacte waarde van de modelaanbieder.

Het openbare CLEER-dashboard vergelijkt gestandaardiseerde chat- en agentsessies met dezelfde token-workload, zodat verschillen tussen modellen niet alleen ontstaan doordat de ene test meer tekst verwerkt. Het werkelijke tokenverbruik van een organisatie kan wel afwijken van die voorbeeldsessies. Het aantal en de lengte van prompts en antwoorden bepalen mede hoeveel tokens een concrete taak gebruikt.

Voor een eigen bedrijfsinventaris zijn tokenaantallen per model daarom belangrijke invoer. CLEER houdt invoer, gecachete invoer en gegenereerde tekst apart, omdat die categorieën verschillende energie-intensiteiten hebben. Als een tool alleen berichten, sessies of credits registreert, moet dat gebruik eerst via een onderbouwde verhouding naar tokens worden omgerekend. Dat voegt onzekerheid toe aan het totaal, ook wanneer de modelproxy hetzelfde blijft.

De uitstoot blijft een schatting

Een energie-inschatting is nog geen gemeten uitstoot per API-verzoek. De aanvullende berekening voor bedrijfsinventarissen begint met tokenaantallen per model en telt daarna factoren mee voor servers, datacenters, stroommix, hardware en modelontwikkeling. Juist gegevens over gebruikte hardware, datacenterlocatie en elektriciteit zijn voor klanten van gesloten modellen vaak niet zichtbaar. De methode vult zulke hiaten met modellen, openbare gegevens en aannames, en houdt onzekerheid apart bij. Emissies per API-verzoek zijn volgens die berekeningsmethode niet rechtstreeks meetbaar.

CLEER maakt energie daarmee een vergelijkingskolom bij modelroutering. Hoe nauwkeurig de uiteindelijke Scope 3-uitstoot is, blijft afhankelijk van tokengegevens en infrastructuurinformatie die aanbieders beschikbaar stellen.