LLAMA.CPP · GGUF · QUANTIZATION · OPENAI API · CPU+GPU

llama.cpp API Sunucusu: Küçük Quantized Modelden CPU+GPU Hibrit Servise Kadar Tek Runtime

llama.cpp C/C++ tabanlı hafif inference runtime'ıdır ve GGUF quantized modelleri CPU, GPU veya hibrit offload ile çalıştırabilir. Güncel `llama-server` OpenAI-compatible chat/responses/embeddings yolları, reranking endpoint'i, parallel decoding ve monitoring özellikleri sunar.

İncele WhatsApp'tan Sorun 0850 307 34 58

cpu / 2026

01GGUF

02Quantization

03CPU + GPU

04OpenAI API

Güncellendi · 18.08.2026

Bu sayfada

llama.cpp yalnız CPU için mi?

Hayır. Proje NVIDIA CUDA, AMD HIP, Metal, Vulkan, SYCL ve başka backend'leri destekler; modelin bir bölümünü GPU'ya offload edip kalanını CPU/RAM tarafında çalıştırmak da mümkündür. Bu esneklik düşük maliyetli veya heterojen donanımda avantaj sağlar fakat tam GPU serving'e göre latency düşebilir.

Bu sayfadallama.cpp API Sunucusu: Küçük Quantized Modelden CPU+GPU Hibrit Servise Kadar Tek Runtime

Hafif serving

llama-server request'i CPU/GPU inference'e nasıl taşır?

HTTP server OpenAI-compatible request'i alır; slot/continuous batching scheduler context'i yönetir; GGUF model layer'ları seçilen backend'e göre CPU ve/veya GPU üzerinde çalışır.

01Client

02llama-server

03Slots / Batch

04GGUF Model

05CPU / GPU Backend

Donanım seçenekleri

llama.cpp neden farklı donanım sınıflarında tercih edilir?

Quantization ve geniş backend desteği sayesinde küçük CPU VPS'ten Apple Silicon veya NVIDIA/AMD GPU hostlarına kadar çalışabilir.

CPU onlyDüşük maliyetDaha yüksek latencyKüçük model

GPU full offloadEn hızlıVRAM gerekirProduction chat

CPU+GPU hybridModel VRAM'i aşıyorEsnekPCIe/RAM etkisi

Server özellikleri

Tek llama-server farklı inference rollerine ayrılabilir

Aynı runtime chat, embedding ve rerank endpoint'lerini desteklese de production'da farklı model ve latency profilleri için ayrı instance kullanmak daha kontrollüdür.

Chat/completions

Embeddings

Reranking

Parallel slots

Metrics

API key

Sunucu testi

llama-server'ı localhost'ta başlatıp API'yi doğrulayın

Model repo/adını kendi GGUF modelinize göre değiştirin.

Komut 1

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF --host 127.0.0.1 --port 8080

Komut 2

curl -s http://127.0.0.1:8080/v1/models | head

Komut 3

curl -s http://127.0.0.1:8080/health | head

Komut 4

ps aux | grep '[l]lama-server'

Komut 5

ss -lntp | grep ':8080'

Public API sınırı

API key olsa bile reverse proxy ve rate limit kullanın

Built-in API key temel auth sağlar; internet-facing production'da TLS, rate limit, request body sınırı, access log ve tenant quota gibi ek kontroller gerekir.

Local/private bind

TLS proxy

API key

Rate limit

Request size limit

Metrics protected

Resmî dokümantasyon

Resmî kaynaklar

llama.cppRepositorygithub.com llama.cppHTTP Servergithub.com

EKA SUNUCU

İlgili EKA Sunucu sayfaları

AI Agent Hostingİncele →GPU Sunucuİncele →ARM ve Ampere Sunucuİncele →VPS Sunucularİncele →

FAQ

Sık sorulan sorular

llama.cpp OpenAI API destekliyor mu?

Evet. Güncel llama-server dokümantasyonu OpenAI-compatible chat completions, responses ve embeddings route'larını listeler.

llama.cpp reranker çalıştırabilir mi?

Evet. Güncel server dokümantasyonunda reranking endpoint'i ve dedicated reranking modu bulunur.

GGUF quantization kaliteyi etkiler mi?

Daha agresif quantization memory ihtiyacını azaltabilir ancak model/task'a göre kalite kaybı oluşturabilir; benchmark ve kalite testi yapılmalıdır.

EKA YAZILIM VE BİLİŞİM SİSTEMLERİ

llama.cpp sunucunuzu quantization, context ve CPU/GPU offload oranına göre seçelim

GGUF model, quantization, context, CPU/RAM, GPU/VRAM ve hedef kullanıcı sayısını iletin; full GPU veya hybrid planı çıkaralım.

WhatsApp'tan Sorun 0850 307 34 58

WhatsApp Hemen Arayın İncele

Özel Sunucu Hizmetleri

Standart Sunucular