Alisina NawabiExperiential Labs brengt een open-source gateway uit voor cloud-, BYOK- en lokale AI-modellen, die via één OpenAI-compatibele API worden gerouteerd en volgens de officiële repository meer dan 1.000 modellen ontsluit, meldt GIGAZINE.
Voor een Nederlandse ondernemer die meerdere modellen inzet, verandert daarmee vooral de plek waar modelkeuze, leveranciers en kosten worden beheerd: toepassingen praten tegen één endpoint, terwijl de gateway de route en het budget per gebruiker of agent kan begrenzen.
Eén ingang, meerdere routes
De repository staat op de GitHub-organisatie experientiallabs. De eigen website verwijst rechtstreeks naar die repository en omschrijft de gateway als open source en gratis zelf te hosten. Dat bevestigt de officiële status van het project, los van de externe releaseberichtgeving.
De compatibiliteit is concreet. De documentatie beschrijft Chat Completions en de Responses API via https://api.experientiallabs.ai/v1, met streaming en een geordende provider waterfall per model die bij capaciteits- of transportproblemen naar een volgende route kan gaan. Voor een bestaande toepassing betekent dat in de basis een andere base-url en sleutel, niet een nieuwe modelintegratie.
Experiential zet zo hosted modellen, eigen provider-sleutels en lokale modellen achter dezelfde ingang. De gateway kan de keuze en failover centraal afhandelen, terwijl toepassingen met één modelnaam blijven werken.
Modelkeuze wordt infrastructuur
De inzet is groter dan één API-sleutel minder. Experiential laat beheerders bepalen welke gebruikers en agents welke modellen en use-cases mogen gebruiken, en hoeveel zij mogen uitgeven. De prijspagina noemt harde budgetten en modellimieten die bij iedere aanvraag worden afgedwongen.
De routering is niet in elke vorm hetzelfde. GIGAZINE schrijft dat automatische modelkeuze per prompt in de hosted dienst plan-afhankelijk is. In de zelf te hosten variant kun je OpenTelemetry-traces uit agentverkeer inladen en daaruit een router bouwen die kwaliteit, snelheid en kosten tegen elkaar afweegt.
Dat maakt het verschil tussen een catalogus en een beheerlaag zichtbaar. Een team kan eenvoudige taken naar een kleiner of lokaal model sturen en zwaardere taken naar een cloudmodel, terwijl het verbruik per sleutel of agent zichtbaar blijft. De eigen hosted dienst zegt daarbij 0 procent opslag op geroute tokens te rekenen en verzoeken bij een ingestelde budgetgrens te stoppen.
Dat prijsmodel verdient precisie. De hosted prijspagina toont een Free-plan van 0 dollar per maand met 500 credits per maand na een eenmalige kaartverificatie van 1 dollar, en een Pro-plan van 20 dollar per maand met 2.000 credits. De genoemde 0 procent opslag betekent geen extra procentuele toeslag boven op gerouteerde provider-tokens, niet dat de totale dienst gratis is.
De bouwsteen sluit aan op een routerlaag die via neutrale modelnamen van leverancier kan wisselen en lokale fallback plus budgetbewaking combineert. Experiential levert daar een nieuwe open-source implementatie voor, met een eigen catalogus, providerbeheer en een pad van gebruiksdata naar routering.
De gateway wordt zelf kritieke software
Voor organisaties verschuift daarmee ook de beheergrens. Wie de gateway zelf draait, beheert de modellen, authenticatie, sleutels, logging, updates en de keuze waar gevoelige verzoeken terechtkomen. Wie de hosted variant gebruikt, koopt minder beheer in, maar moet de beleidsgrenzen van die dienst nog steeds vastleggen.
De ontwikkeling wijst op een bredere verschuiving in AI-software: modelkeuze verhuist uit losse applicatieconfiguraties naar een centrale infrastructuurlaag. Dat maakt wisselen en budgetteren eenvoudiger, maar maakt die laag tegelijk een belangrijk onderdeel van de bedrijfscontinuïteit.
Veelgestelde vragen
Van modelkeuze naar regie
Ik help je van modelkeuze en architectuur tot een werkende gateway, koppelingen en automatisering. Ik denk mee, ontwerp en bouw end-to-end, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
