Alisina NawabiBeam is sinds 16 oktober beschikbaar in Amazon SageMaker JumpStart in US East (N. Virginia) en US East (Ohio), met een beheerd endpoint of een route via HyperPod, meldt AWS.
Voor een Nederlands softwareteam met code in een AWS-regio in Europa ligt de eerste JumpStart-proef buiten de bestaande werkomgeving: AWS noemt bij de start alleen Virginia en Ohio. Wie Beam via JumpStart wil testen, moet dus een endpoint in de VS plannen. Daarmee speelt de regio al mee voordat een team de modelkwaliteit op eigen code meet.
JumpStart verkort de weg naar een endpoint
Een SageMaker JumpStart real-time endpoint levert modelpakket, AWS-container en aanroep-API als beheerde dienst. De voorbeeldcode ondersteunt BF16, FP8 en NVFP4; één opdracht start de endpoint, verstuurt een testaanvraag en ruimt hem daarna op.
Voor meer controle beschrijft AWS SageMaker HyperPod Inference op een EKS-cluster, met de AWS-container of een eigen runtime zoals SGLang en vLLM. Dat maakt aanpassingen aan serving, parallelle uitvoering, caching en schaling mogelijk, maar vraagt extra werk aan cluster, netwerk en runtimeversies.
AWS vereist accountrechten, acceptatie van modelvoorwaarden, AWS CLI, Python 3.11 of nieuwer en GPU-quota plus beschikbare capaciteit. Beam’s 501 miljard parameters vragen meerdere GPU’s; BF16 vraagt meerdere nodes. Voor FP8 noemt AWS ml.p5.48xlarge, ml.p5e.48xlarge of ml.p5en.48xlarge. Voor NVFP4 noemt het ml.p6-b200.48xlarge. Een test vraagt dus al een specifieke GPU-configuratie.
De gewichten zijn nu wel beschikbaar
Op 5 oktober schatte Reflection dat Beam drie tot vier keer minder rekenwerk voor inferentie dan GLM-5.2 nodig had, terwijl de gewichten nog niet publiek waren en voor later die maand waren aangekondigd. De release van vandaag verandert die uitgangspositie. Reflection zegt dat de gewichten onder Apache 2.0 en meer dan 40 partnerintegraties tegelijk beschikbaar komen, en dat de modelkaart de definitieve benchmarks bevat. Het bedrijf noemt AWS als een van de routes naar gebruik.
Naast AWS noemen de launchplatformen onder meer Baseten, Cloudflare, Google Cloud en Microsoft Azure, meldt Unite.AI. Reflection biedt de gewichten via Hugging Face en zegt dat ze zelf te hosten zijn. JumpStart is daarmee één route; eigen hosting verplaatst het werk rond GPU-capaciteit en beheer naar het team.
Het onderscheid tussen totale en actieve parameters is daarbij belangrijk. AWS zegt dat de 501 miljard totale parameters vooral opslag, geheugen, verdeling over GPU’s en parallelle uitvoering bepalen. De 23 miljard actieve parameters sturen hoeveel rekenwerk per gegenereerde token plaatsvindt. Reflection meldt bovendien een effectief contextvenster van één miljoen tokens. Dat getal beschrijft hoeveel tekst het model kan verwerken, niet wat een lange aanvraag kost of hoe snel het antwoord volgt.
Beam en Muse Spark starten in dezelfde twee regio’s
Bij de start kan een Nederlandse organisatie Beam niet rechtstreeks in een JumpStart-EU-regio testen. De Apache 2.0-gewichten geven een alternatief via eigen hosting of een andere aanbieder, mits daar voldoende GPU-capaciteit is. AWS zegt dat Beam meerdere GPU’s en voor BF16 zelfs meerdere nodes vraagt.
De beperking is niet uniek voor Beam. Een dag eerder zette AWS Meta’s Muse Spark Open in JumpStart in dezelfde twee US East-regio’s. AWS noemt daar multi-GPU-instances en waarschuwt dat een endpoint kosten blijft maken zolang het actief is. Dat vergelijkbare patroon maakt de regio en de levensduur van de endpoint concrete onderdelen van een proef, ook wanneer de gewichten zelf open beschikbaar zijn.
AWS levert geen prijs of eigen benchmark mee
Reflection publiceert benchmarks voor drie precisievarianten. De modelkaart vermeldt voor Terminal-Bench 2.1 scores van 80,1 procent voor BF16, 78,9 procent voor FP8 en 78,4 procent voor NVFP4. De evaluaties zijn uitgevoerd met temperature 0,7 en top_p 0,99. Dat geeft een eerste vergelijking tussen de varianten, maar het zijn cijfers uit de modelkaart van de maker. De AWS-deploymentpost voegt geen onafhankelijke score of meting van Beam op een JumpStart-endpoint toe.
AWS adviseert daarom om representatieve codeer- en tooltaken bij de verwachte gelijktijdigheid te herhalen. Het noemt als meetpunten het slagingspercentage, de p50- en p95-tijd tot het eerste token, de tijd per uitvoertoken, de totale reactietijd en de tokens per seconde. Een mini-benchmark met 20 tot 50 voorbeelden uit je eigen praktijk helpt om de scores op je eigen codebase te toetsen.
AWS publiceert geen uurtarief voor Beam. De gids vraagt gebruikers zelf een instance te kiezen en de endpoint na de proef te verwijderen om doorlopende kosten te stoppen. De rekening hangt dus af van hardware en looptijd.
Beam is nu te testen via een beheerde route. De eerste AWS-proef vraagt een keuze tussen twee Amerikaanse regio’s en GPU-configuraties met hoge capaciteit. Alleen eigen code, gemeten reactietijden en de endpointrekening laten zien of de gepubliceerde benchmarks bruikbaar zijn voor een team.
Veelgestelde vragen
Van codeermodel naar agent
Ik help je bepalen waar een AI-agent echt werk uit handen neemt, ontwerp de integratie en bouw het traject van eerste proef tot werkende automatisering. Waar het kan, richt ik de oplossing self-hosted in zodat je de gegevensstroom zelf afbakent.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
