Alisina NawabiERNIE 5.5 Flash Preview krijgt van Arena 1668 punten en beweegt richting de tweede plek onder open modellen, terwijl de leaderboardrij de score als AutoEval en het model als Proprietary markeert.
Voor een Nederlands softwareteam levert dat een nieuwe aanwijzing voor een gerichte codeproef, maar nog geen gevalideerde rangorde of bewijs dat de gewichten al onder een open licentie te downloaden zijn. De benchmark meet prestaties in één test. De licentie bepaalt welke rechten een organisatie krijgt om gewichten te downloaden, aan te passen en in te zetten.
De tabel houdt de rang nog open
De leaderboardpagina vermeldt 11 november als peildatum en telt 158 modellen. De ERNIE-rij geeft 1668 ±16 punten, maar zowel het aantal stemmen als de rang staan op N/A. Arena vergelijkt de score met DeepSeek-V4.1-Flash op 1664, Kimi K3 op 1658 en Qwen3.8-Max op 1670.
Een tweede Arena-bericht plaatst ERNIE op plek 17 over open en proprietary modellen heen. De tabel zelf vult nog geen rangnummer in. Arena’s eerste post noemt het model richting de tweede plek onder open modellen; de tabel toont dus de scorepositie, terwijl de rangkolom nog op N/A staat.
De afbeelding bij het eerste bericht zet Kimi K3.1 Pro op 1, ERNIE als AutoEval-markering daaronder en DeepSeek op 2. De actuele leaderboardrij noemt ERNIE tegelijk Proprietary.
„Open” zegt ook niets over gelijke licentievoorwaarden. De afbeelding zet Kimi K3.1 Pro boven ERNIE; de 1,56 terabyte aan gewichten kwamen uit onder een commerciële licentie met voorwaarden voor API-diensten. De officiële licentie vraagt model-API-aanbieders met meer dan 20 miljoen dollar gezamenlijke omzet in twaalf maanden om een aparte overeenkomst. Een plek in een open-modellenfilter vertelt een Nederlands team dus niet vanzelf of de eigen gebruiksvorm onder de voorwaarden past.
AutoEval vult het stemgat met een schatting
AutoEval geeft een model een snelle schatting voordat voldoende menselijke stemmen binnen zijn. Arena vervangt die stemmen in de eerste berekening door een eigen beoordelingsmodel (reward model), getraind op miljoenen eerdere vergelijkingen tussen antwoorden. Zodra genoeg live stemmen binnenkomen, kan de voorlopige score worden bijgewerkt.
Arena rapporteert zelf een rangcorrelatie boven 0,98 tussen AutoEval en live scores in zijn validatie. Het bedrijf meldt ook dat AutoEval in tests meer dan 90 procent nauwkeurig was wanneer het werkelijke prestatieverschil boven tien punten lag. Dat zijn resultaten uit Arena’s eigen validatie, geen onafhankelijke meting van ERNIE op Nederlandse bedrijfssoftware.
De marge op deze rij loopt van ongeveer 1652 tot 1684. Dat bereik omvat de getoonde scores van Qwen3.8-Max, DeepSeek-V4.1-Flash en Kimi K3. Hun verschillen in puntenschatting zijn kleiner dan ERNIE’s eigen marge. Zolang het stemmenveld N/A toont, kan de rang veranderen wanneer menselijke vergelijkingen de AutoEval-schatting vervangen.
De Apache-belofte hoort bij de Preview
Baidu ERNIE schreef op 11 november dat de gewichten uiterlijk 25 november zouden verschijnen. De officiële releasepagina noemt Apache 2.0 als de geplande licentie, maar beschrijft ERNIE 5.5 Flash Preview ook als een tussencheckpoint waarvan de nabewerking nog loopt. Baidu waarschuwt dat sommige mogelijkheden daardoor nog tekort kunnen schieten. De huidige benchmark betreft dus een preview die nog kan veranderen voordat de gewichten verschijnen.
Het quotebericht van Baidu Inc. herhaalt dat ERNIE 280 miljard parameters telt, waarvan er 14 miljard per token actief zijn. Die bedrijfsaccount noemt geen Apache-deadline. De officiële ERNIE-account had die datum een dag eerder wel genoemd. Arena’s woord „soon” verandert de planning niet: voor de downloadbare versie noemt Baidu 25 november.
De officiële Base-release beschrijft de gewichten als een checkpoint aan het einde van de voortraining, vóór mid- of posttraining. De v1.0-licentie definieert het toegestane territorium als alle gebieden behalve de EU, het VK en Zuid-Korea. De Preview is een apart checkpoint; de Apache-belofte geldt voor die nieuwe gewichten. Baidu had de deadline voor de Preview-gewichten al op 25 november gezet. De Base-licentie kan dus niet automatisch worden gelezen als de licentie van de Preview, en de Preview-belofte wijzigt de rechten op Base niet.
Een eigen codeproef vult de ranglijst aan
Voor teams die websoftware bouwen, is 1668 een bruikbaar signaal om ERNIE mee te nemen in een vergelijking. Dezelfde ranglijst zet Qwen3.8-Max op 1670 en DeepSeek-V4.1-Flash op 1664, maar hun rijen hebben duizenden menselijke stemmen en de ERNIE-rij nog geen. De verschillen in validatiestatus zijn daardoor zichtbaar naast de puntenscores. De WebDev-score beschrijft deze Arena-taakverzameling; hij voorspelt niet automatisch hoe het model presteert op een eigen framework, codebasis of ontwikkelproces.
Een team kan de score naast een eigen set representatieve opdrachten leggen: een component aanpassen, een fout op een specifieke schermbreedte herstellen en een bestaande functie uitbreiden. De relevante uitkomst is of de wijziging werkt binnen de eigen omgeving en hoeveel correctierondes nodig zijn. De leaderboardscore geeft die informatie niet.
De ontwikkeling past in een bredere verschuiving naar snelle benchmarks die al bij een modelrelease een eerste vergelijking geven. Daardoor verschijnt een nieuwe kandidaat eerder naast bestaande codeermodellen. Tegelijk vragen de score, de meetmethode en de licentie elk om een eigen controle. De volgende concrete datum is 25 november, wanneer Baidu de Preview-gewichten onder Apache 2.0 belooft. Tot die tijd blijft 1668 een voorlopige WebDev-schatting voor een model waarvan de downloadbare vorm nog niet is verschenen.
Veelgestelde vragen
Van modelkeuze naar werkend product
Ik denk met je mee over welk model in je proces past, ontwerp de toepassing en bouw het hele traject tot livegang, met automatisering en self-hosting waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
