AI-agent evaluatie

Vercel publiceert UI SDK 0.1.0-beta.2 met fixes voor toegankelijke veldlabels en Vue/Nuxt. De bibliotheek helpt codeeragenten interfacegedrag samenstellen, maar Vercels prestatiewinst komt uit één taaktest.

NiCE geeft Cognigy AI-hulp bij agentbouw, herbruikbare vaardigheden en tracering van model- en toolstappen. Standaardmodellen vallen in het gesprekstarief, premium modellen kosten naar gebruik. Per functie ontbreken uitroldatums en modelprijzen.

AWS publiceert UAEF, een open-source raamwerk dat AI-agents met 36 meetwaarden over zeven dimensies vergelijkt. De LLM-jury moet bij eigen beoordelingsinstructies een letterlijk fragment uit de agentuitvoer als bewijs aanhalen.

Meta biedt Muse Ember via de Model API aan voor terugkerend agentwerk. De lage basistarieven worden hoger bij lange prompts; Meta’s benchmarks en praktijktests vragen om een blik op de meetmethode.

Prime Intellect vindt fouten in drie openbare agentbenchmarks en publiceert nieuwe scores na aanpassingen. De uitkomsten lopen uiteen per beoordelaar, toolmodus en testset. De audit laat zien waarom een hoge score context nodig heeft.

DeepSeek brengt een nieuwe Flash-versie uit die volgens eigen tests agenttaken sneller en goedkoper afrondt. De API-tokenprijs blijft gelijk; daarnaast krijgen Search en Fetch vanaf 31 oktober een tarief per verzoek.

NVIDIA zet de downloadbare gewichten van Nemotron 3.5 Super VL online. Het model leest tekst, documenten, afbeeldingen en video, maar de NVFP4-versie weegt 75,1 GB en vraagt krachtige GPU-hardware.

GitHub Copilot gaat taken automatisch lokaal of in de cloud verwerken. De keuze raakt de datastroom van broncode, het geheugen dat modellen vragen en de rechten waarmee agenten tools uitvoeren.

Nieuwe evaluaties van Andon Labs laten GPT-6 Astra een drone door een kantoor sturen en een jaar lang een gesimuleerd verkoopbedrijf beheren. De beste drone-run haalt de referentie op alle vijf taken; Vending-Bench zet Astra bovenaan.

OpenAI brengt GPT-6 Astra uit voor Plus, Pro, Business en Enterprise plus de API en AWS. Het model kost 10 en 50 dollar per miljoen tokens en draait onder bewaking die een API-taak kan stoppen.

TrueFoundry brengt agentharnas TrueForge uit onder de MIT-licentie, als zelf te draaien alternatief voor Claude Managed Agents. De eigen benchmark laat 30 procent lagere kosten zien op hetzelfde model, niet de beloofde 50.

Het Britse AI Security Institute toont over zeven benchmarks dat standaardtests de capaciteit van AI-agents onderschatten. Met tien keer meer tokenbudget stijgt het slagingspercentage op softwaretaken ongeveer 25 procent.