Red Hat maakt AI 3.5 klaar voor beheerde productie

Red Hat AI 3.5 is sinds 9 september algemeen beschikbaar met EvalHub, observabilitydashboards en multi-tenancy, meldt Red Hat, voor organisaties die AI buiten de pilotfase willen beheren.

Voor een Nederlandse organisatie verandert daarmee de beheerlaag rond AI. Je kunt modellen vóór uitrol op veiligheidsrisico’s testen, gedeelde GPU-capaciteit verdelen en tokenverbruik per gebruiker zichtbaar maken. De inzet verschuift van een model kiezen naar aantonen wie wat mag gebruiken, tegen welke kosten en met welk toezicht.

EvalHub maakt de test herhaalbaar

Red Hat maakt EvalHub in AI 3.5 algemeen beschikbaar voor modellen, RAG-configuraties en agents. Teams kunnen veiligheidstests draaien op risico’s zoals prompt injection en jailbreaks en de resultaten gebruiken voor auditeerbare rapportage. De officiële documentatie beschrijft dat evaluaties als geïsoleerde taken draaien en per tenant worden afgeschermd via Kubernetes-namespaces en tenant_id.

De catalogus krijgt meer dan twintig nieuwe gevalideerde modellen met Garak-scores voor veiligheid, blootstelling van persoonsgegevens en toxiciteit, waaronder Gemma 4 van Google, Nemotron 3 van Nvidia en Qwen van Alibaba Cloud, zo meldt Techzine. Daarmee wordt modelkeuze niet alleen een vergelijking van kwaliteit en snelheid, maar ook van vooraf vastgelegde veiligheidsdrempels.

Gedeelde GPU’s krijgen verkeersregels

Multi-tenancy gaat hier verder dan meerdere projecten op één cluster. Fair-share scheduling verdeelt capaciteit over tenants, terwijl priority-aware serving realtime-inferentie voorrang kan geven en achtergrondtaken laat wachten. Voor strengere scheiding ondersteunt Red Hat hosted control planes op OpenShift Virtualization: iedere tenant krijgt een eigen clustercontrol plane, terwijl de hardware gedeeld blijft.

Dat maakt kostenbeheersing concreter, maar het maakt eigenaarschap ook zichtbaar. Een platformteam moet vooraf vastleggen welke workloads realtime zijn, welke mogen wachten en welke tenant welke capaciteit mag gebruiken. Dat sluit aan bij de vijf afspraken voor productieagenten: mandaat, escalatie, logging, kill-switch en eigenaarschap.

Observability wordt onderdeel van beheer

De nieuwe dashboards tonen inference health, GPU-benutting en modelprestaties. Niet alleen beheerders krijgen inzicht: projectgebruikers kunnen serving metrics bekijken en per gebruiker tokenverbruik volgen. MLflow levert visuele tracing van meerstapsagenten, terwijl die tracing nog als technology preview geldt. Zo wordt zichtbaar waar in een agentketen een modelstap, toolcall of wachtrij de tijd en middelen verbruikt.

Agentcontroles hebben niet allemaal dezelfde status

De Responses API en ingebouwde RAG zijn algemeen beschikbaar, net als agent templates voor code review, documentverwerking en onderzoek. NeMo Guardrails bewaakt gesprekken en kan toolcalls binnen beleidsregels houden. De gatewaylaag die elke oproep naar een externe tool of API monitort en een kwaadaardige actie vóór het backend kan blokkeren, staat nog als technology preview, schrijft Red Hat.

Welke vragen horen bij productie?

Voor teams die deze functies beoordelen, komen vier beheer- en auditvragen boven tafel. Beheersing betekent hier dat een antwoord terug te vinden is in configuratie, logboek of dashboard, niet alleen in een leverancierstoezegging.

• Veiligheid: welke prompt-injection- en jailbreaktests moet een model, RAG-configuratie of agent halen vóór uitrol?
• Toegang: welke tenant, gebruiker of rol mag een agent welke tool of gegevensbron laten aanroepen?
• Kosten: kun je tokenverbruik per gebruiker en GPU-gebruik terugzien, ook zonder clusterbeheerder te zijn?
• Ingrijpen: welke acties blokkeert de runtime zelf en welke controle is nog technology preview?

Van pilot naar beheerde infrastructuur

De release markeert geen nieuwe modeldoorbraak. De verschuiving zit in de laag eromheen: AI wordt behandeld als gedeelde infrastructuur met bewijs vóór uitrol, regels voor bevoegdheden en zicht op verbruik tijdens gebruik. Voor een organisatie die een agent uit een proefomgeving haalt, wordt een demo daarmee niet het eindpunt maar het begin van aantoonbaar beheer.