GPU Sunucu Kiralama: Yapay Zeka, LLM, Render ve CUDA İş Yükleri İçin Güçlü Altyapı

GPU sunucu; CPU, RAM ve depolamanın yanında grafik işlem birimini de hesaplama kaynağı olarak kullanan fiziksel veya sanallaştırılmış sunucu altyapısıdır. GPU'lar çok sayıda paralel işlemi aynı anda yürütebildiği için yapay zeka çıkarımı, model eğitimi, görüntü işleme, render ve video üretimi gibi işlerde CPU ağırlıklı sistemlere göre önemli avantaj sağlayabilir.

Ancak her ekran kartlı sistem aynı değildir. Yapay zeka tarafında yalnız GPU modeline değil VRAM kapasitesine, CUDA/ROCm uyumluluğuna, RAM miktarına, disk hızına ve kullanılacak framework'ün donanım desteğine birlikte bakmak gerekir. Örneğin büyük bir LLM'i çalıştırırken ham GPU gücünden önce modelin ağırlıklarının ve KV cache'in VRAM'e sığıp sığmadığı kritik hale gelir.

GPU sunucu yalnız oyun veya grafik işlemleri için değildir. Günümüzde en yoğun kullanım alanı yapay zeka ve paralel hesaplama iş yükleridir. Aynı altyapı; LLM inference, RAG, görsel üretim, video üretimi, render, encoding, emülatör, uzaktan grafik uygulamaları ve bilimsel hesaplama için kullanılabilir.

Uygulamanız GPU hızlandırmasını desteklemiyorsa daha pahalı bir GPU sistemi almak performans kazandırmayabilir. Bu nedenle satın almadan önce kullanacağınız yazılımın CUDA, ROCm, DirectML, OpenCL veya ilgili GPU API desteğini doğrulamak gerekir.

LLM ve üretken yapay zeka işlerinde VRAM, çoğu zaman ekran kartının oyun performansından daha belirleyici bir kriterdir. Model ağırlıkları, çalışma sırasında ayrılan bellek, KV cache, context uzunluğu ve aynı anda işlenen istek sayısı toplam VRAM tüketimini belirler.

Model VRAM'e sığmadığında bazı motorlar ağırlıkların bir bölümünü sistem RAM'ine aktarabilir. Bu yöntem modeli çalıştırabilse de PCIe ve sistem belleği trafiği nedeniyle token üretim hızı ciddi biçimde düşebilir. Bu yüzden yalnız 'model açılıyor mu?' sorusuna değil 'istenen hızda çalışıyor mu?' sorusuna da bakılmalıdır.

LLM sunucusunda ilk adım kullanacağınız modelin parametre sayısını, quantization formatını ve hedef context uzunluğunu belirlemektir. 7B-14B sınıfı quantized modeller ile 30B ve üzeri modellerin bellek ihtiyacı aynı değildir. Çok uzun context veya eş zamanlı kullanıcı sayısı arttıkça KV cache tüketimi de büyür.

Tek kullanıcı test ortamında amaç en yüksek model kalitesi ise daha fazla RAM ile kısmi GPU offload yapılabilir. Üretim API'sinde ise düşük gecikme ve yüksek token/s hedefleniyorsa modelin mümkün olduğunca GPU belleğinde tutulması, paralel istek sayısının doğru ayarlanması ve uygun inference motorunun seçilmesi daha önemlidir.

Görsel üretiminde çözünürlük, batch size, kullanılan checkpoint ve ek ControlNet/LoRA bileşenleri VRAM tüketimini doğrudan etkiler. Video üretiminde ise kare sayısı, çözünürlük, model boyutu ve temporal katmanlar nedeniyle ihtiyaç daha da hızlı büyür.

ComfyUI gibi node tabanlı araçlarda aynı workflow içinde birden fazla model belleğe alınabilir. Bu nedenle yalnız ana checkpoint boyutuna bakmak yanıltıcıdır. Uzun video üretimi veya yüksek çözünürlüklü profesyonel işlerde daha yüksek VRAM'li GPU ve hızlı NVMe depolama belirgin avantaj sağlar.

Blender Cycles gibi GPU hızlandırmalı render motorlarında uyumlu GPU, sahnenin render süresini önemli ölçüde azaltabilir. Ancak sahne belleği GPU VRAM'ini aşıyorsa performans düşebilir veya render işlemi başarısız olabilir. Büyük texture setleri, yüksek poligon sayısı ve karmaşık sahnelerde VRAM seçimi bu nedenle önemlidir.

Video tarafında donanımsal encoder/decoder desteği bulunan kartlar FFmpeg tabanlı transcode, yayın ve medya işleme sistemlerinde CPU yükünü azaltabilir. Kullanacağınız codec ve yazılımın seçtiğiniz GPU'nun donanımsal encoder özelliklerini desteklediğini önceden kontrol edin.

AI ve geliştirici iş yüklerinde Ubuntu gibi Linux dağıtımları; NVIDIA sürücüleri, CUDA araçları, Docker, Python ortamları ve çok sayıda açık kaynak AI projesiyle daha doğal bir çalışma akışı sunar. SSH, JupyterLab, VS Code Server ve web tabanlı AI arayüzleri ile grafik masaüstüne ihtiyaç duymadan sunucu yönetilebilir.

Windows Server ise RDP, masaüstü uygulamaları, belirli ticari yazılımlar, emülatörler veya Windows'a bağımlı iş süreçleri için tercih edilebilir. Seçim yaparken yalnız işletim sistemine değil kullanacağınız uygulamanın GPU sürücüsü ve framework desteğine bakılmalıdır.

Fiziksel GPU sunucuda donanım size tahsis edilir; GPU, CPU, RAM ve disk kaynaklarında başka bir sanal makinenin yükünden etkilenmezsiniz. Uzun süreli inference, render, model eğitimi, yoğun emülatör veya özel sanallaştırma senaryolarında bu yapı daha öngörülebilir performans sağlar.

GPU VPS/VDS tarafında ise sanallaştırma veya passthrough/vGPU mimarisine göre kaynakların paylaşım biçimi değişebilir. Daha düşük başlangıç maliyeti avantaj sağlayabilir ancak satın almadan önce size ayrılan gerçek VRAM, GPU tipi, sanallaştırma yöntemi ve performans sınırlarını netleştirmek gerekir.

Sunucu tesliminden sonra işletim sistemi güncellemeleri, GPU sürücüsü, CUDA veya gerekli hızlandırma katmanı, Python/Conda ortamı, Docker ve uygulama bağımlılıkları hazırlanır. Daha sonra nvidia-smi veya üreticiye uygun araçlarla GPU'nun sistem tarafından doğru görüldüğü doğrulanır.

AI servisleri internete açılacaksa yalnız uygulamayı çalıştırmak yeterli değildir. Firewall, reverse proxy, TLS, güçlü kimlik doğrulama, API rate limit, loglama, yedekleme ve erişim politikaları da üretim planının parçası olmalıdır.

1. 01İşletim sistemi ve güncellemeleri tamamlayın
2. 02GPU sürücüsünü ve gerekli compute toolkit'i kurun
3. 03GPU görünürlüğünü ve VRAM kapasitesini doğrulayın
4. 04Python, Docker veya uygulama runtime'ını hazırlayın
5. 05Model veya render yazılımını kurun
6. 06Benchmark ve gerçek iş yükü testi yapın
7. 07Firewall, TLS ve uzak erişim güvenliğini tamamlayın

En doğru konfigürasyonu belirlemek için yalnız 'GPU sunucu istiyorum' demek yerine gerçek iş yükünü paylaşmanız yeterlidir. Kullanacağınız model veya yazılım, beklenen kullanıcı sayısı, çözünürlük, aynı anda kaç iş çalışacağı ve hedeflenen çalışma süresi donanım seçimini doğrudan etkiler.

Teknik ekibimize model adını, yazılımı ve kullanım senaryosunu ilettiğinizde gereksiz yüksek donanım önermek yerine ihtiyaca göre GPU/VRAM, RAM, disk ve işletim sistemi seçimini daha doğru planlayabiliriz.