Türkiye (Türkçe)
Almanya (German)
Worldwide (English)
Public exposure’u reverse proxy üzerinden kontrol etmeyi kolaylaştırır.
Halkalı merkez mahallesi fatih cd ozgur apt no 46 , Küçükçekmece , İstanbul , 34303 , TR
vLLM `--api-key` seçeneği yararlıdır ancak tek güvenlik katmanı değildir; resmî dokümantasyon bazı server endpoint’lerinin API key kontrolü dışında kalabileceğini belirtir. Public servis için reverse proxy, endpoint kapsamı, TLS, rate limit ve ağ policy’si birlikte gerekir.
Nginx snippet generator örnektir; production config’i değildir. Auth header kontrolü için gerçek API gateway/JWT/mTLS gibi mekanizmalar kullanın. Nginx `if` örneğini tek başına güvenlik çözümü saymayın.
En güvenli baseline: vLLM’yi `127.0.0.1:8000` veya private IP’de tutun, public 443’ü Nginx/API gateway karşılasın, yalnız gerekli `/v1/...` yollarını proxy edin ve auth/rate-limit/log policy’yi edge’de enforce edin.
En güvenli baseline: vLLM’yi `127.0.0.1:8000` veya private IP’de tutun, public 443’ü Nginx/API gateway karşılasın, yalnız gerekli `/v1/...` yollarını proxy edin ve auth/rate-limit/log policy’yi edge’de enforce edin.
vLLM OpenAI-compatible API’yi internete güvenli açın. Loopback bind, Nginx TLS, gateway auth, rate limit, endpoint allow-list, log redaction, DoS ve secret rotation planı.
Public exposure’u reverse proxy üzerinden kontrol etmeyi kolaylaştırır.
TLS/auth/rate limit tek edge’de uygulanabilir.
Yalnız ihtiyaç duyulan API surface’i yayınlayın.
GPU OOM olmadan önce request rate/concurrency sınırı uygulayın.
GPU DoS, aşırı context, büyük max_tokens, model enumeration, admin/debug endpoint exposure ve log secret leak farklı risk sınıflarıdır.
| Risk | Kontrol |
|---|---|
| Credential abuse | Rotation + per-client key/JWT |
| GPU exhaustion | Rate/concurrency/token caps |
| Unexpected endpoints | Reverse proxy allow-list |
| Sensitive logs | Header/body redaction |
Reverse proxy aynı hosttaysa loopback; ayrı gateway varsa private VLAN/IP kullanın. Firewall’dan yalnız gateway’in erişmesini sağlayın.
ss -lntp | grep 8000curl -s http://127.0.0.1:8000/health || trueufw status verboseAynı host loopback trafiği ile farklı host private network trafiği aynı risk değildir. Cross-host upstream için mTLS veya private network encryption ihtiyacını değerlendirin.
Per-client API key veya JWT ile kullanıcı/uygulama ayrımı yaparsanız quota, audit ve rotation uygulanabilir. Tek global key paylaşımı audit’i zayıflatır.
1 kısa request ile 1×128k context request aynı GPU maliyetine sahip değildir. Max input tokens, max output tokens ve concurrent sequences sınırı birlikte uygulanmalıdır.
| Limit | Koruduğu |
|---|---|
| RPS | Edge burst |
| Input tokens | Prefill/KV cost |
| Output tokens | Decode time |
| Concurrency | VRAM/queue |
Client yalnız `/v1/chat/completions` ve `/v1/models` kullanıyorsa tüm server path’lerini publish etmeyin. Yeni vLLM sürümünde ek endpoint gelse bile default olarak dışarı açılmasın.
Audit için request ID, client ID, model, token counts, status ve latency çoğu zaman yeterlidir. Prompt/response body kişisel veya ticari veri içerebilir.
| Logla | Redact/kaçın |
|---|---|
| request_id | Authorization header |
| client_id | Raw API key |
| model + tokens | Prompt body varsayılan |
| latency + status | Sensitive response body |
Seçenekleri değiştirerek temel reverse proxy bloğu üretin; production öncesi mutlaka inceleyin.
Eka Sunucu GPU sunucusunda vLLM origin’i private tutup Nginx/API gateway üzerinden TLS, auth ve rate-limit katmanıyla servis edebilirsiniz.
Rehber hazırlanırken esas alınan birincil dokümantasyon ve teknik kaynaklar.
İlgili altyapı ve uygulama rehberleriyle devam edin.
vLLM API Güvenliği
Public production servisinde tek katman olarak kabul etmeyin. Resmî doküman bazı endpoint’lerin key dışında kalabileceğini belirtir; reverse proxy/endpoint policy/TLS/rate limit ekleyin.
Private, firewalled network’te geçerli olabilir; public internete çıplak bind production güvenliği için önerilmez. Ağ sınırını bilinçli belirleyin.
Hayır. Token/context ve concurrency GPU maliyetini daha doğrudan etkiler. Gateway/application katmanında token quota da uygulayın.
İhtiyaca ve veri politikasına bağlıdır. Varsayılan audit log için prompt body yerine metadata/token/latency kullanmak veri riskini azaltır.