LiteLLM is een open-source Python-bibliotheek en gateway voor large language models, ontwikkeld door BerriAI. Het project is opgericht door Ishaan Jaffer en Krrish Dholakia en biedt een uniforme, OpenAI-compatibele API voor het benaderen en routeren van verzoeken naar verschillende modelaanbieders. LiteLLM kan als zelf te hosten proxyserver worden ingezet of rechtstreeks als bibliotheek in toepassingen worden gebruikt.
De software vertaalt verzoeken en antwoorden tussen aanbieders zoals OpenAI, Anthropic, Google Gemini, Amazon Bedrock, Microsoft Azure en Hugging Face naar een consistent formaat. Daarnaast ondersteunt LiteLLM onder meer modelroutering, load balancing, terugvalopties, authenticatie, snelheidsbeperking, gebruiksmonitoring en kostenbeheersing. Volgens de aangeleverde bron ondersteunt het meer dan honderd taalmodellen en Model Context Protocol. In maart 2026 werden kwaadaardige versies van LiteLLM via PyPI verspreid als onderdeel van een software supply-chain-aanval; TechCrunch meldde dat ook het AI-wervingsbedrijf Mercor tot de getroffen organisaties behoorde.
LiteLLM is een open-source Python-bibliotheek en proxyserver die als AI-gateway fungeert voor meer dan honderd verschillende grote taalmodellen. Via één uniforme, OpenAI-compatibele interface kunnen ontwikkelaars verbinding maken met aanbieders als OpenAI, Anthropic, Google Gemini, Amazon Bedrock en Azure. Het project wordt onderhouden door BerriAI en is beschikbaar op GitHub.
De LiteLLM proxyserver handelt alle verzoeken aan LLM-API's af in het OpenAI-formaat, zodat bestaande integraties zonder aanpassingen naar andere providers kunnen worden omgeleid. De proxy is beschikbaar als Docker-image en ondersteunt onder meer Bedrock, Azure en OpenAI.
“Proxy Server to Call all LLM APIs using the OpenAI format. Bedrock, Azure, OpenAI (100+ LLMs)” hub.docker.com
LiteLLM biedt toegang tot meer dan 2600 modellen bij meer dan 140 aanbieders, inclusief informatie over prijzen en contextvensters per model.
“The most comprehensive AI model catalog. Pricing, context windows, and features for 2600+ models across 140+ providers.” models.litellm.ai
LiteLLM biedt ingebouwde spend tracking en kostenregistratie over alle LLM-providers, waarbij beheerders aangepaste prijzen kunnen instellen of standaardkosten kunnen overschrijven.
“AI Gateway to provide model access, fallbacks and spend tracking across 100+ LLMs. All in the OpenAI format.” litellm.ai
“LiteLLM provides flexible cost tracking and pricing customization for all LLM providers: Custom Pricing - Override default model costs or set pricing ...” docs.litellm.ai
Een veelgenoemd kritiekpunt is de latentie die LiteLLM introduceert wanneer het als proxy voor externe LLM-aanbieders fungeert. Voor self-hosted en compliance-gevoelige omgevingen worden tools als BentoML en Ray Serve als alternatieven aanbevolen.
“One of the most cited concerns with LiteLLM is the significant latency it introduces, especially when acting as a proxy for external LLM providers like OpenAI, ...” truefoundry.com
“BentoML of Ray Serve zijn sterke keuzes voor self-hosted, production-grade serving ...” sider.ai
De Enterprise-versie van LiteLLM richt zich op grotere organisaties en biedt functies zoals gedelegeerd beheer van teams en organisaties, waardoor de beheerlast voor de proxy afneemt.
“LiteLLM Enterprise allows you to delegate access of teams and organizations to admins. Reducing the time you spend managing the proxy.” litellm.ai