Zwarte serverracks van Imgix met blauwe bekabeling in een datacenter
Nieuws3 oktober · 08:122 min leestijd

Prime Intellect opent inferentie-API voor open modellen

Prime Intellect maakt open modellen beschikbaar via een OpenAI-compatibele API. Serverloze eindpunten zijn direct te gebruiken; gereserveerde capaciteit loopt via overleg, terwijl eigen implementaties met één klik nog op de roadmap staan.

Prime Inference is sinds 2 oktober beschikbaar via een OpenAI-compatibele API voor open modellen, met serverloze API-eindpunten en gereserveerde capaciteit op GPU-infrastructuur van Prime Intellect, meldt het bedrijf.

Voor een Nederlandse organisatie die open modellen wil inzetten zonder zelf GPU-servers te beheren, neemt Prime het beheer van de GPU's en het draaien van modellen over. Als je de OpenAI SDK al gebruikt, kun je de code behouden en het API-eindpunt en de sleutel aanpassen.

Eén API, twee uitvoerroutes

De API garandeert niet dat elk model op Prime's eigen infrastructuur draait. Prime's documentatie maakt onderscheid tussen modellen die daar worden uitgevoerd en gatewaymodellen, waarbij aanvragen naar externe aanbieders gaan. GLM-5.3 is het eerste model dat Prime zelf draait. De modelcatalogus toont per model de uitvoerroute, beschikbaarheid en prijs.

Dat onderscheid telt voor organisaties met eisen aan kosten of datalocatie. De lancering noemt meerdere datacenters, maar geen specifieke regio's. Een OpenAI-compatibele aansluiting zegt dus op zichzelf niet waar ieder model draait.

Prime geeft ook technische cijfers voor GLM-5.3 op Nvidia GB200 NVL72. In de eigen test daalde de p90-vertraging tussen tokens bijna 40 procent nadat promptverwerking en token-generatie over aparte groepen GPU's werden verdeeld. P90 is de grens waaronder 90 procent van de metingen valt. Dit is het resultaat voor die configuratie, geen algemene prestatiegarantie. Prime zegt daarnaast dat het platform intern bijna een biljoen tokens per dag verwerkte voor evaluaties, synthetische data en codeeragenten. Dit bedrijfscijfer is geen maat voor de capaciteit die klanten kunnen boeken.

Capaciteit vraagt om overleg

Prime noemt gereserveerde capaciteit als optie voor aanhoudend gebruik. De productpagina verwijst organisaties die dedicated modelcapaciteit nodig hebben naar een gesprek met Prime; een openbare zelfserviceboeking of tarief voor die dienst staat er niet bij. Eigen implementaties met één klik op gereserveerde capaciteit staan nog op de roadmap.

De stap past naast Equinix' plan om samen met Nvidia en Together AI pas in het eerste kwartaal van 2027 een inferentiedienst voor open modellen te starten. Prime noemt geen regio's in de aankondiging; actuele tarieven en uitvoerroutes staan per model in de catalogus. Voor bedrijven verschuift de afweging van zelf GPU's beheren naar modelroute, prijs en datalocatie.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

Van model naar toepassing

Ik denk mee waar een open model past, ontwerp de koppelingen en bouw de AI-toepassing tot livegang. Ik automatiseer het werk eromheen en houd de modelroute self-hosted waar dat kan.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Gerelateerde artikelen

Microsoft verwacht 49 tot 50 procent Azure-groei in Q2
Nieuws
5 min

29 okt 02:15

Microsoft verwacht 49 tot 50 procent Azure-groei in Q2

Microsoft verwacht voor Q2 49 tot 50 procent Azure-groei in constante valuta. Tegelijk schuiven GPU-contracten naar H2 en loopt de verwachte kapitaalinvestering in Q2 op tot meer dan 50 miljard dollar.

Plurai opent simulatieplatform voor AI-agenten
Nieuws
5 min

11 nov 17:33

Plurai opent simulatieplatform voor AI-agenten

Plurai opent een platform dat AI-agenten met eigen bedrijfskennis, tools en beleidsregels in een sandbox test. De gratis laag heeft een vaste kredietlimiet; de gemelde kosten- en foutdalingen komen van designpartners.

OpenAI wil Google-TPU’s kopen
Nieuws
4 min

28 okt 04:18

OpenAI wil Google-TPU’s kopen

The Information meldt dat OpenAI Google-TPU’s wil kopen, maar bevestigt geen bestelling en noemt geen hoeveelheid, prijs of leverdatum. Google en Oracle plannen TPU-toegang via Oracle Cloud in 2027; voor API-klanten is geen tariefwijziging aangekondigd.

Singapore overweegt deelname aan Chinees AI-orgaan
Nieuws
5 min

25 okt 08:10

Singapore overweegt deelname aan Chinees AI-orgaan

Singapore overweegt sinds september een uitnodiging voor China's AI-orgaan WAICO. Een verse AP-analyse zet die status naast landen die tegelijk Amerikaanse chips, Chinese modellen en invloed op AI-standaarden zoeken.

Microsoft stapt uit Nscale-deal voor AI-campus in Loughton
Nieuws
5 min

19 okt 08:27

Microsoft stapt uit Nscale-deal voor AI-campus in Loughton

Microsoft trekt zich terug uit Nscale’s AI-campus in Loughton. De locatie was gepland voor 23.040 GPU’s, maar de stroomaansluiting en nieuwe opleverdatum zijn onzeker; Nscale zegt alternatieven te onderzoeken.

OpenAI vervangt computechef Katti door Ruddarraju
Nieuws
4 min

14 okt 20:54

OpenAI vervangt computechef Katti door Ruddarraju

OpenAI draagt zijn computeorganisatie over aan Uday Ruddarraju. Sachin Katti vertrekt op 15 november en blijft adviseur, terwijl de omvangrijke plannen laten zien hoe lang het duurt voordat nieuwe AI-rekenkracht beschikbaar komt.