LiteLLM is een open-source Python-bibliotheek en proxyserver die als AI-gateway fungeert voor het aanroepen van meer dan honderd verschillende grote taalmodellen (LLM's). De tool biedt een uniforme interface waarmee ontwikkelaars via een enkele, OpenAI-compatibele API verbinding kunnen maken met aanbieders als OpenAI, Anthropic, Google Gemini, Amazon Bedrock en Azure. Naast modeltoegankelijkheid ondersteunt LiteLLM functies als spend tracking, fallback-mechanismen en load balancing over meerdere providers. Het project wordt onderhouden door BerriAI en is beschikbaar via GitHub. LiteLLM wordt ingezet in enterprise-omgevingen als centraal toegangspunt voor LLM-integraties, waarbij teams niet voor elk model een aparte integratie hoeven te bouwen.
kan verbruik per sleutel bijhouden om afwijkende pieken te detecteren
“LiteLLM houdt verbruik per sleutel bij in zijn database; gebruik dat om afwijkende pieken te zien.”Je zelfgehoste AI-gateway hardenen: van standaardinstellingen naar productie-veilig
kan harde budgetten afdwingen per sleutel, per gebruiker en per team
“LiteLLM logt elke aanroep met tokens en kosten in zijn database en kan harde budgetten afdwingen per sleutel, per gebruiker en per team.”Zo bouw je een leverancier-onafhankelijke AI-stack
is een open-source AI-gateway die meer dan 100 LLM-providers achter één OpenAI-compatibele interface zet
“LiteLLM is een open-source AI-gateway die meer dan 100 LLM-providers achter één OpenAI-compatibele interface zet”Zo bouw je een leverancier-onafhankelijke AI-stack
bewaart verbruikslogs en virtuele sleutels in Postgres
“LiteLLM bewaart daarin de verbruikslogs en de virtuele sleutels”Zo bouw je een leverancier-onafhankelijke AI-stack
vereist dat alle sleutels worden geroteerd die ooit op de gateway stonden
“Roteer alle sleutels die ooit op de gateway stonden”Drie LiteLLM-lekken geven gewone gebruikers admin-rechten en code-uitvoering op je AI-gateway
vereist dat gebruikers updaten naar versie 1.83.14-stable of nieuwer
“Update direct naar versie 1.83.14-stable of nieuwer”Drie LiteLLM-lekken geven gewone gebruikers admin-rechten en code-uitvoering op je AI-gateway
heeft lekken die zijn gedicht in versie 1.83.14-stable
“de fouten zijn gedicht in LiteLLM-versie 1.83.14-stable”Drie LiteLLM-lekken geven gewone gebruikers admin-rechten en code-uitvoering op je AI-gateway
Onderwerpen die vaak samen met LiteLLM voorkomen, ook zonder een vastgelegd verband. Open de gedeelde verhalen voor de context.
LiteLLM Docs
Langflow Docs
Aikido Security
BleepingComputer
The Hacker News
Techzine
CSO Online
The Stack
Ollama Docs
GitHub
Obsidian Security
