Halkalı merkez mahallesi fatih cd ozgur apt no 46 , Küçükçekmece , İstanbul , 34303 , TR
LiteLLM Proxy, OpenAI-compatible gateway katmanında farklı model/provider deployment'larını tek API altında toplayabilir. Production'da gerçek değer yalnız endpoint birleştirmek değildir; virtual key, team/model access, budget, usage tracking, retries/fallback, routing ve observability merkezi hale gelir.
Güncel LiteLLM production dokümantasyonuna göre Postgres virtual key, user/team, spend tracking ve UI persistence gibi kalıcı veriler için; Redis ise çok worker/replica arasında rate limit, cooldown, usage-aware routing ve cache gibi state'i paylaşmak için kritik hale gelir. Birden çok worker olduğunda Redis özellikle önerilir.
Uygulama gerçek provider key yerine LiteLLM virtual key kullanır; gateway auth/budget/routing kontrolü sonrası uygun model deployment'a isteği iletir ve usage/trace kaydını oluşturur.
Kalıcı key/team/spend verisi database'te; worker'lar arasında hızlı paylaşılması gereken rate-limit/cache/routing state'i Redis'te tutulur.
LiteLLM router çoklu deployment arasında load balance, retry, timeout, cooldown ve fallback mantığı sağlayabilir. Aynı model adı altında farklı provider veya self-host replica'lar tanımlanabilir.
Port ve key değerlerini kendi deployment'ınıza göre uyarlayın.
Türkiye (Türkçe)
Almanya (German)
Worldwide (English)
curl -s http://127.0.0.1:4000/health | headcurl -s http://127.0.0.1:4000/v1/models -H 'Authorization: Bearer sk-your-key' | headdocker compose psdocker compose logs --tail=100 litellmss -lntp | grep ':4000'Master/provider secret'ları uygulamalara dağıtmayın. Team/user bazlı model allowlist, budget, rate limit ve logging politikasını gateway'de uygulayın.
Benzer bir çoklu-model gateway deneyimi kurulabilir ancak LiteLLM self-host proxy/gateway yazılımıdır; OpenRouter ayrı bir hosted routing hizmetidir.
Basit proxy senaryosu çalışabilir; ancak virtual key, usage tracking, UI persistence gibi özelliklerde database gerekir.
Teknik olarak bazı özellikler çalışabilir ancak resmî doküman multi-worker/replica production'da Redis'i güçlü biçimde önerir; aksi halde limit/routing state worker bazında parçalanabilir.
Model/provider listesi, virtual key sayısı, peak RPS, budget ve fallback ihtiyacını iletin; LiteLLM + Redis + Postgres topolojisini çıkaralım.