LiteLLM is een open-source gateway voor large language models, ontwikkeld door BerriAI. Het project biedt een uniforme, OpenAI-compatibele API waarmee toepassingen verzoeken kunnen sturen naar en routeren tussen verschillende modelaanbieders. LiteLLM kan worden gebruikt als zelf te hosten proxyserver of als Python-bibliotheek binnen applicaties.
De bibliotheek ondersteunt een gemeenschappelijke interface voor onder meer OpenAI, Anthropic, Google Gemini, Amazon Bedrock, Microsoft Azure en Hugging Face. LiteLLM vertaalt verzoeken en antwoorden naar een consistent formaat, zodat toepassingen eenvoudiger tussen modellen kunnen wisselen. Daarnaast bevat het functies voor modelroutering, load balancing, terugvalopties, authenticatie, snelheidsbeperking, gebruiksmonitoring en kostenbeheer. De proxyserver kan functioneren als centrale API-gateway voor meerdere toepassingen of gebruikers. LiteLLM ondersteunt ook het Model Context Protocol, een open protocol van Anthropic voor verbindingen tussen AI-toepassingen, externe hulpmiddelen en gegevensbronnen. In maart 2026 werden volgens TechCrunch schadelijke versies via PyPI verspreid tijdens een software supply-chainaanval.