AIMultiple

says subscribers cannot influence benchmark results or withdraw from a test, though they can be included and receive product links and task results

“AIMultiple zegt dat abonnees benchmarkresultaten niet kunnen beïnvloeden of zich uit een test kunnen terugtrekken, hoewel zij in benchmarks kunnen worden opgenomen en productlinks en taakresultaten kr”

discloses Apify is a customer of its benchmark services within Agentic AI

“De benchmarkpagina vermeldt dat Apify klant is van AIMultiple’s benchmarkdiensten binnen Agentic AI.”

does not publish the results of a short trial round

“Een korte proefronde vond plaats, maar de resultaten zijn niet gepubliceerd.”

sets limits of twelve tool calls, fifteen minutes, and $0.50 in data-provider costs per question

“Per vraag golden grenzen van twaalf toolaanroepen, vijftien minuten en $0,50 aan dataleverancierskosten.”

retrieves the answer key for protected questions from public profile pages while logged out via Zyte, outside the tested tools

“Voor beschermde vragen haalde het de antwoordsleutel uitgelogd van de openbare profielpagina via Zyte, buiten de geteste tools om.”

calculates open-data answers through the source API

“Voor open data berekende AIMultiple het antwoord via de bron-API.”

removes questions the model answered correctly without tools or that had no unambiguous answer

“AIMultiple verwijderde vragen die het model zonder tools al goed beantwoordde of die geen eenduidig antwoord hadden.”

counts an answer only when all requested values were correct in the tool output

“Een antwoord telde alleen als alle gevraagde waarden correct in de tooluitvoer stonden.”

records 1,300 runs per set

“Dat leverde 1.300 runs per set op.”

runs each question three times per data layer and Claude’s web search function once

“Elke vraag werd drie keer per gegevenslaag gesteld en Claude’s webzoekfunctie eenmaal.”

uses Claude Haiku 5.5 via OpenRouter with high reasoning effort in the benchmark

“AIMultiple gebruikte Claude Haiku 5.5 via OpenRouter met hoge redeneerinspanning.”

calculates model and data-provider costs together per 100 questions

“AIMultiple rekent model- en dataleverancierskosten samen, per 100 vragen.”

calls the difference between Firecrawl's open-set scores with and without Alexandria within the margin of error

“AIMultiple noemt het verschil binnen de foutmarge.”

estimates at $87.50 for 1,000 comparable open data questions in this test setup, including model costs

“Een lineaire doortrekking naar 1.000 vergelijkbare open-datavragen komt in deze testopstelling op $87,50, inclusief modelkosten.”