Dynamische modelroutering

Op 22 augustus liep 62 procent van alle tokens op Vercels AI Gateway over open modellen, tegen 28,4 procent in juni. De uitgaven volgen die verschuiving niet: daar houdt Anthropic de meerderheid vast.

Anthropics goedkopere Opus 5 heeft topmodel Fable 5 voorbij in zakelijke bestedingen, meldt de Financial Times. Fable 5 blijft steken op ongeveer 11 procent van wat bedrijven bij Anthropic uitgeven.

AT&T stuurt vragen van medewerkers via een LiteLLM-router naar open modellen en verlaagde de kosten van codeer- en andere AI-taken met tot 56 procent, bij 2 procent kwaliteitsverlies. De uitgaven aan Anthropic en OpenAI blijven bevroren.

Ramp lanceert Router.com, een API die elk AI-verzoek naar het goedkoopste geschikte model stuurt en volgens het bedrijf 40 procent inferentiekosten scheelt. Alleen te gebruiken in de VS, op Amerikaanse infrastructuur.

Snowflake kondigt dynamic model routing aan in Cortex AI Gateway: per taak automatisch het goedkoopste model dat de kwaliteit haalt. De functie zit nog niet in private preview en een prijs ontbreekt.