EKA AI TOOLS

AI Model VRAM ve GPU Hesaplayıcı

Bu araç yalnızca parametre sayısını bit genişliğiyle çarpmaz. Model ağırlıkları, GGUF quantization için yaklaşık bits-per-weight değeri, standart attention kullanan modellerde KV cache, hibrit attention modellerinde pencere davranışı, runtime payı ve seçilen donanımın kullanılabilir belleğini ayrı ayrı değerlendirir. Sonuçlar planlama tahminidir; gerçek kullanım runtime, sürücü, backend, batch ve model dosyasına göre değişebilir.

GGUFKV CacheQ4_K_MMulti-GPUTR · EN · DE

Hesaplama Aracı

Bu hesap bir kapasite planlama tahminidir; multimodal projector, speculative decoding, paralel kullanıcılar, büyük batch, CUDA graph ve runtime çalışma alanları ek bellek kullanabilir.

Model Model Quantization Context Uzunluğu KV Cache Türü GPU / Bellek Profili GPU Adedi Özel VRAM / Unified Memory (GB)

Parametre (B) Katman KV Head Head Boyutu

Model ağırlıkları—

KV cache—

Runtime payı—

Tahmini toplam—

Önerilen güvenli bellek—

Uyumluluk—

Tahmini model dosyası indirme süresi · 100 Mbps—

Tahmini model dosyası indirme süresi · 1 Gbps—

Nasıl Hesaplanıyor?

WEIGHTS

Model ağırlığı yaklaşık olarak toplam parametre sayısı × quantization bits-per-weight / 8 ile hesaplanır. GGUF K-quants bazı tensorleri farklı bit genişliklerinde tuttuğu için Q4_K_M gibi formatlar tam 4.0 bit değildir; araç bu yüzden yaklaşık efektif bpw kullanır.

KV CACHE

Standart transformer attention için KV cache yaklaşık 2 × katman × KV head × head dimension × token sayısı × KV veri tipi baytı formülüne dayanır. GQA kullanan modellerde KV head sayısı attention head sayısından küçük olduğundan cache önemli ölçüde azalabilir.

HYBRID ATTENTION

Gemma 3 gibi local/global attention karışımı kullanan modellerde local katmanlar tüm context yerine pencere kadar cache tutar. Qwen3.8 gibi GatedDeltaNet + full-attention hibritlerinde context ile büyüyen full-attention KV bölümü doğrudan hesaplanır; GatedDeltaNet durum belleği ise runtime payında muhafazakar biçimde ele alınır.

Hazır Model Profilleri

Model	Parametre	Mimari	Context	KV profili
Qwen3 8B	8.2B	36 layer · GQA	40K	8 KV heads · 128 dim
Qwen3.8 27B	27B	64 layer · GatedDeltaNet + Full Attention	262K	Every 4th layer full attention
Qwen2.5 / DeepSeek R1 Distill 32B	32.5B	64 layer · GQA	32K+	8 KV heads · 128 dim
Llama 3.3 70B	70.6B	80 layer · GQA	128K	8 KV heads · 128 dim
Gemma 3 27B	27B	Local/Global Attention	128K	Local window aware
Mistral Small 3.1 24B	24B	Dense Transformer	128K	Planning profile
DeepSeek V3 / R1 Full	671B	MoE + MLA	128K	Runtime-dependent estimate

Quantization Karşılaştırması

GPU Bellek Karşılaştırması

Doğru Sonuç İçin Teknik Notlar

GGUF dosya boyutu yalnızca toplam parametre ve quant etiketiyle birebir belirlenmez; vocabulary, embedding, output tensor ve quant karışımı sonucu değiştirebilir.
Ollama, llama.cpp, LM Studio, vLLM, SGLang ve Transformers aynı modelde farklı runtime çalışma alanı kullanabilir.
Çoklu GPU sonucu kapasite planlamasıdır. PCIe/NVLink topolojisi, tensor parallel ve layer split performansı ayrıca belirler.
Multimodal modellerde vision encoder/projector bellek ihtiyacı bu temel metin modeli hesabına ek yük getirebilir.
Uzun context seçerken yalnızca modelin ilan edilen maksimum context değerine değil, kalite ve throughput etkisine de bakılmalıdır.
Apple Unified Memory profillerinde sistem ve diğer uygulamalar için daha yüksek rezerv bırakılması önerilir.

Sık Sorulan Sorular

Q4_K_M neden tam 4 bit olarak hesaplanmıyor?

K-quants blok ölçekleri ve bazı tensorlerin daha yüksek hassasiyette tutulması nedeniyle dosya başına efektif bits-per-weight değeri 4 bitten yüksektir. Araç Q4_K_M için yaklaşık 4.85 bpw kullanır.

24 GB VRAM ile 32B model çalışır mı?

Q4 sınıfında model ağırlıkları çoğu 32B modelde 20 GB civarına yaklaşır. Context ve runtime belleği eklendiğinde 24 GB kart genellikle sınırda kalır; CPU offload veya daha kısa context gerekebilir.

İki GPU varsa VRAM doğrudan toplanır mı?

Tensor/model parallel veya uygun layer split kullanıldığında toplam kapasite artabilir; fakat her runtime iki kartın belleğini kusursuz tek havuz gibi kullanmaz. Araç kapasite planlamasında toplamı gösterir ve güvenlik payı uygular.

Apple Silicon için sonuç nasıl yorumlanmalı?

Unified Memory CPU ve GPU tarafından ortak kullanılır. Bu nedenle sistemin tamamını modele ayırmak mümkün değildir. Araç Apple profillerinde daha yüksek sistem rezervi bırakır.

Context neden VRAM kullanımını artırıyor?

Autoregressive üretimde geçmiş tokenların key/value durumları cache içinde tutulur. Standart attention modellerinde KV cache context ile yaklaşık doğrusal büyür.

DeepSeek V3 neden daha belirsiz gösteriliyor?

DeepSeek V3 Multi-Head Latent Attention gibi standart KV formülünden farklı bir mimari kullanır. Model ağırlığı hesaplanabilir, ancak context belleği runtime ve implementasyona daha bağımlıdır; bu nedenle araç konservatif planlama sonucu verir.

Teknik Kaynaklar

huggingface.cohttps://huggingface.co/docs/transformers/kv_cache github.comhttps://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md huggingface.cohttps://huggingface.co/Qwen/Qwen3-8B/blob/main/config.json huggingface.cohttps://huggingface.co/Qwen/Qwen3.8-27B/blob/main/config.json www.nvidia.comhttps://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/docs.nvidia.comhttps://docs.nvidia.com/nim/large-language-models/latest/support-matrix.html

Modeliniz Yerel Donanıma Sığmıyor mu?

VRAM ihtiyacınızı hesapladıktan sonra uygun GPU sunucu kapasitesini seçebilirsiniz. Uzun context, çoklu kullanıcı ve yüksek batch için yalnızca modelin sığması değil, çalışma payının da yeterli olması gerekir.

GPU Sunucuları İncele İletişim

Özel Sunucu Hizmetleri

Standart Sunucular