Halkali Merkez Viertel Fatih Str. Ozgur Apt. No. 46, Kucukcekmece, Istanbul, 34303, TR
LiteLLM Proxy bündelt mehrere Modell-/Provider-Deployments hinter einem OpenAI-kompatiblen Gateway. In Production werden Virtual Keys, Team-/Model-Zugriff, Budgets, Usage Tracking, Retries/Fallbacks, Routing und Observability zentral.
Aktuelle LiteLLM-Production-Doku nutzt Postgres für Virtual Keys, User/Teams, Spend Tracking und UI-State; Redis teilt Rate Limits, Cooldowns, Usage-aware Routing und Cache über Worker/Replicas. Bei mehreren Workern besonders empfohlen.
Apps nutzen LiteLLM Virtual Keys statt echter Provider Keys; Gateway prüft Auth/Budget/Routing, routet zum Deployment und erfasst Usage/Traces.
Persistente Key/Team/Spend-Daten liegen in Postgres; schneller geteilter Rate-Limit-/Cache-/Routing-State in Redis.
LiteLLM Router kann Load Balancing, Retries, Timeouts, Cooldowns und Fallbacks über Deployments steuern. Mehrere Provider/Self-Host-Replicas können hinter einem Modellnamen liegen.
Port und Key an eigenes Deployment anpassen.
Türkei (Türkisch)
Germany (German)
Worldwide (English)
curl -s http://127.0.0.1:4000/health | headcurl -s http://127.0.0.1:4000/v1/models -H 'Authorization: Bearer sk-your-key' | headdocker compose psdocker compose logs --tail=100 litellmss -lntp | grep ':4000'Master-/Provider-Secrets nicht an Apps verteilen. Model-Allowlists, Budgets, Rate Limits und Logging pro Team/User im Gateway anwenden.
Es kann ein ähnliches Multi-Model-Gateway bieten, ist aber Self-Host-Proxy-Software; OpenRouter ist ein Hosted Service.
Ein einfacher Proxy ja; Virtual Keys, Usage Tracking und UI-Persistenz benötigen DB-State.
Teilweise möglich, aber offiziell stark abgeraten; Limits/Routing-State fragmentieren pro Worker.
Teilen Sie Modelle/Provider, Virtual Keys, Peak RPS, Budgets und Fallbacks; LiteLLM + Redis + Postgres planen.