Alisina NawabiFable 5.2 haalt volgens Scale Labs in 41,3 procent van de RLI-projecten de menselijke kwaliteitsnorm, gemeten aan complete opdrachten die freelancers eerder uitvoerden.
Voor Nederlandse softwarebureaus, marketingteams en interne afdelingen maakt dit complete AI-opleveringen toetsbaar. Een taak telt mee wanneer de AI-uitvoer minstens zo goed is als een door een freelancer afgeleverd resultaat en een redelijke klant het zou accepteren. De score geldt voor de gekozen testprojecten; ze is geen schatting van het Nederlandse werk dat op korte termijn verdwijnt.
Een opdracht telt alleen na menselijke beoordeling
De Remote Labor Index (RLI) beoordeelt complete freelanceprojecten uit verschillende vakgebieden. De dataset bevat 240 opdrachten van 358 geverifieerde freelancers op Upwork. Elk project bevat een briefing, invoerbestanden, geaccepteerd menselijk werk en gegevens over tijd en kosten. Scale Labs en het Center for AI Safety (CAIS) reserveren 230 projecten voor de kwantitatieve ranglijst; 10 andere zijn openbaar voor kwalitatieve analyse.
De automation rate telt alleen projecten waarop de AI-uitvoer minstens gelijk is aan de menselijke referentie. Een getrainde beoordelaar vergelijkt daarvoor het AI-resultaat rechtstreeks met het werk van de freelancer. De schaal loopt van 1, onvoldoende, tot 3, beter dan de referentie. Alleen scores 2 en 3 tellen als geslaagd. Scale meldt 94,4 procent overeenstemming tussen beoordelaars, vastgesteld met een meerderheidsoordeel van drie onafhankelijke experts.
RLI beoordeelt een totaalproduct, geen los antwoord of werkend codefragment. Een rapport, ontwerpbestand of video moet als geheel aan de opdracht voldoen. De testresultaten zeggen nog niet hoeveel menselijk toezicht, herstelwerk of klantcontact een echte oplevering daarna vraagt.
De voorsprong groeit binnen dezelfde meetlat
De nieuwe score verscheen op 9 november. De RLI-paper, ingediend op 30 oktober 2025, noemt Manus met 2,5 procent als best presterende agent in de eerste meting. In juli stond Fable 5 op 15,83 procent; de huidige score van Fable 5.1 is 17,92 procent. De nieuwe versie komt daarmee ruim twee keer zo hoog uit als haar directe voorganger.
De ranglijst zet Opus 5.5 op 21,25 procent, GPT 6 Astra op 20,83, Fable 5.1 op 17,92 en Gemini Argon 4 op 17,08, schrijft The Decoder. Fable 5.2 staat daarmee bijna twee keer zo hoog als Opus 5.5, de nummer twee. De nieuwe RLI-meting voegt daarmee een praktijktest toe aan de modelrelease. Anthropic bracht Fable 5.2 uit tegen standaardtarieven van $8 per miljoen invoertokens en $40 per miljoen uitvoertokens, 20 procent lager dan bij versie 5.1.
Scale schrijft dat de grootste sprongen zitten in audio- en muziekbewerking, architectuur en interieurontwerp, en 3D-modellering; bijna 50 geslaagde opdrachten lukten eerdere agents niet. Industrieel productontwerp en animatie blijven zwakke gebieden. De benchmark laat dus ook zien dat winst per soort opdracht sterk uiteenloopt.
De steekproef bestrijkt geen hele arbeidsmarkt
De 240 opdrachten komen uit 23 van de 64 Upwork-domeinen. Fysieke arbeid, opdrachten met rechtstreeks klantcontact en werk dat langdurige evaluatie vraagt, zoals SEO, zijn uitgesloten. De geselecteerde projecten vertegenwoordigen samen $143.991 aan economische waarde. Een project kostte gemiddeld $632,60 en vroeg gemiddeld 28,9 uur van een menselijke freelancer; de medianen zijn $200 en 11,5 uur. Dat zijn cijfers over de menselijke referentie, niet over de AI-uitvoering.
De verdeling maakt de selectie zichtbaar. Video is 13 procent van de projecten, CAD 12 procent en grafisch ontwerp 11 procent. Gameontwikkeling en audio vormen elk 10 procent, architectuur 7 procent en productontwerp 6 procent. De overige categorieën zijn samen 31 procent.
Scale gaf de agents een gestandaardiseerde omgeving en maximaal $30 aan generatietegoed per opdracht. Ze werden getest via een opdrachtregelomgeving en een nagebootste grafische werkomgeving; de ranglijst toont per agent de beste uitkomst van die twee. De score hoort daardoor bij het hele testpakket van model, agent en hulpmiddelen. Ze is geen zuivere maat van het basismodel en rekent ook geen volledige bedrijfsvoering door.
Een benchmarkscore blijft taakgebonden
De automation rate is het aandeel projecten dat de menselijke kwaliteitslat haalt. Zij weegt niet mee hoeveel uren elke opdracht vertegenwoordigt of wat het model buiten de test kost. Scale vermeldt bovendien geen betrouwbaarheidsinterval voor dit percentage. De handmatige beoordeling is nodig omdat projecten uiteenlopende bestanden opleveren, maar maakt het duur en traag om de ranglijst vaak te vernieuwen. Bij mislukte taken ziet Scale vooral onvoldoende kwaliteit, onvolledige opleveringen en problemen met bestanden of onderlinge consistentie.
Andere ranglijsten leggen weer andere accenten. Artificial Analysis’ index v5 baseert 60 procent van zijn weging op privétests of achtergehouden antwoorden; die index combineert negen tests over kenniswerk, coderen, wetenschap en algemene kennis. RLI kijkt juist naar volledige opdrachten met een menselijke referentie. De score van een model hangt dus mede af van de gekozen taken en de beoordelingsregels.
De 41,3 procent laat zien dat Fable 5.2 op bijna de helft van deze geselecteerde opdrachten de menselijke kwaliteitslat haalt. De test omvat geen klantcontact, langdurige verantwoordelijkheid of alle digitale beroepen. Voor Nederlandse organisaties maakt de RLI daarmee vooral afzonderlijke taken meetbaar: hoe vaak kan een agent een vergelijkbaar eindproduct afleveren, en welke controle blijft nodig voordat het werk naar een klant gaat?
Veelgestelde vragen
Van benchmark naar werkproces
Ik help je taken, kwaliteitsgrenzen en controle vertalen naar een AI-proces dat bij je organisatie past, van meedenken en ontwerp tot bouwen en automatiseren. Waar het kan, maak ik de oplossing self-hosted.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
