AIMultiple vergelijkt webdatalagen voor AI-agents

Apify haalt in de op 13 november 2026 verschenen AIMultiple-benchmark 98 procent op vragen over afgeschermde websites, maar scoort op open databronnen 90 procent en kost daar ruim tien keer zoveel als Firecrawl.

Voor teams die webresearch met AI automatiseren, verschuiven foutkans en rekening per bronsoort: Apify kostte $8,75 per 100 open-datavragen en $1,11 per 100 beschermde-sitevragen. Een lineaire doortrekking naar 1.000 vergelijkbare open-datavragen komt in deze testopstelling op $87,50, inclusief modelkosten. De keuze hangt dus af van welke bronnen een agent moet raadplegen.

De beste score hangt af van de bron

De open set bevatte 100 vragen, tien per bron: SEC-documenten, SEC-financiële overzichten, ClinicalTrials.gov, de Amerikaanse App Store, GitHub, NVD, PyPI, PubMed, Crossref en het Amerikaanse Bureau of Labor Statistics. Firecrawl met Alexandria scoorde 99,7 procent, tegenover 99,0 procent zonder catalogus. AIMultiple noemt het verschil binnen de foutmarge. Apify haalde 90,0 procent en Zyla 43,7 procent.

Zyla had geen API voor PyPI en Crossref en beantwoordde geen van de 18 vragen over die bronnen goed. Bij Facebook telde een afgerond aantal ook als fout: Zyla’s API gaf 10 miljoen volgers terug terwijl de pagina 10.838.386 toonde.

De beschermde set bevatte 100 vragen, 25 over openbare organisatieaccounts op elk van Facebook, YouTube, Instagram en X. Apify scoorde 98,0 procent, Firecrawl met Alexandria 85,3 procent en zonder die catalogus 80,0 procent. Zyla kwam op 80,3 procent en Claude’s webzoekfunctie op 49 procent. Die rangorde geldt voor deze vier platforms en deze vragen.

De kosten volgen dezelfde bronkeuze

AIMultiple rekent model- en dataleverancierskosten samen, per 100 vragen. Apify kostte $8,75 op open bronnen, waarvan $8,33 uit Actor-runs kwam. Op beschermde websites kostte Apify $1,11, tegenover $1,36 voor Firecrawl met Alexandria. Firecrawl-opstellingen kostten $0,73 tot $1,36; Claude’s webzoekfunctie kwam uit op $2,93 tot $3,37.

Binnen Firecrawl waren catalogusruns op open bronnen 100 procent correct tegenover 95,1 procent zonder catalogus, bij 34 procent hogere kosten. Op beschermde sites waren ze 86,1 procent correct tegenover 72,1 procent voor de webzoekfunctie zonder catalogus. De catalogusruns kostten daar 2,5 keer zoveel en namen ongeveer evenveel tijd. De agent riep Alexandria aan in 15 procent van de open-dataruns en 46 procent van de runs op beschermde sites.

De lineaire berekening van $87,50 per 1.000 open-datavragen uit de nut graf geldt alleen voor de benchmarkopstelling. Integratie, resultaatcontrole en het afhandelen van uitzonderingen zijn niet meegerekend.

De agent gebruikt verschillende routes

Apify geeft de agent toegang tot Actors in zijn Store. Via MCP kan die Actors ontdekken en uitvoeren en hun resultaten uitlezen. Iedere Actor kan eigen invoervelden en uitvoer hebben. Firecrawl combineert webzoeken en pagina’s uitlezen met een catalogus; tool zoeken kost geen credits, uitvoering wel. Zyla geeft via één MCP-server toegang tot een API-catalogus die de agent kan doorzoeken en aanroepen.

De gekozen koppeling bepaalt mede welke bron de agent daadwerkelijk gebruikt. In de test kwamen Apify’s correcte antwoorden op beschermde websites uit Actors die één bron per keer uitlezen. Firecrawl riep Alexandria vooral aan voor YouTube en slechts twee keer in 66 Instagram-runs. Een catalogus met veel aanbieders betekent dus niet dat een agent die voor elke vraag gebruikt. Zyla’s API’s leveren bovendien verschillende antwoordvormen op.

De test meet een afgebakende situatie

AIMultiple gebruikte Claude Haiku 5.5 via OpenRouter met hoge redeneerinspanning. Iedere gegevenslaag werkte via de eigen MCP-server, zonder extra webtool; Firecrawl draaide met en zonder Alexandria. Elke vraag werd drie keer per gegevenslaag gesteld en Claude’s webzoekfunctie eenmaal. Dat leverde 1.300 runs per set op. Een antwoord telde alleen als alle gevraagde waarden correct in de tooluitvoer stonden.

De vraagset bevatte enkelvoudige waarden, vergelijkingen en ontbrekende records. AIMultiple verwijderde vragen die het model zonder tools al goed beantwoordde of die geen eenduidig antwoord hadden. Voor open data berekende AIMultiple het antwoord via de bron-API. Voor beschermde vragen haalde het de antwoordsleutel uitgelogd van de openbare profielpagina via Zyte, buiten de geteste tools om. Per vraag golden grenzen van twaalf toolaanroepen, vijftien minuten en $0,50 aan dataleverancierskosten. Een korte proefronde vond plaats, maar de resultaten zijn niet gepubliceerd. De bronkeuze bestond uit Amerikaanse databronnen en vier sociale platforms, zonder Nederlandse websites of bedrijfsdatabronnen.

Ook andere agentbenchmarks laten zien hoeveel de meetlat uitmaakt. Prime Intellect rapporteerde voor Claude Opus 5.5 op maximale redeneerinspanning in Zapier-modus een score van 92,15 procent met deelpunten en 70,83 procent strikt. In Prime Agent-modus kwam dezelfde audit op 92,81 en 73,83 procent. Die uitkomsten staan ook in de Prime Agent-test met 92,81 procent bij deelpunten en 73,83 procent strikt. De score hangt dus mede af van tools en beoordelingsregels.

De benchmarkpagina vermeldt dat Apify klant is van AIMultiple’s benchmarkdiensten binnen Agentic AI. AIMultiple zegt dat abonnees benchmarkresultaten niet kunnen beïnvloeden of zich uit een test kunnen terugtrekken, hoewel zij in benchmarks kunnen worden opgenomen en productlinks en taakresultaten krijgen. De relatie is openbaar gemaakt; de publicatie bevat geen onafhankelijke herhaling van de metingen.

De benchmark meet antwoordnauwkeurigheid en kosten, maar niet of elke bron op de gekozen manier gebruikt mag worden. Voor webcontent kunnen voorwaarden verschillen tussen training, ophalen en doorgeven, zoals de rechten rond training, grounding en distributie laten zien. Voor Nederlandse organisaties blijft daarom een eigen proef met hun bronnen en vraagtypen nodig. De test vergelijkt drie aanbieders, met Firecrawl in twee configuraties, maar geeft geen score voor Nederlandse bedrijfsdata.