Halkali Merkez Viertel Fatih Str. Ozgur Apt. No. 46, Kucukcekmece, Istanbul, 34303, TR
llama.cpp ist ein leichter C/C++-Inference-Runtime für GGUF auf CPU, GPU oder Hybrid-Offload. Aktuelles `llama-server` bietet OpenAI-kompatible Chat/Responses/Embeddings, Reranking, Parallel Decoding und Monitoring.
Nein. Unterstützt CUDA, HIP, Metal, Vulkan, SYCL und weitere Backends inklusive CPU+GPU-Teil-Offload. Flexibel für heterogene Hardware, aber ggf. höhere Latenz als Full-GPU.
HTTP-Server nimmt OpenAI-kompatible Requests an, Slots/Continuous Batching verwalten Context und GGUF-Layer laufen je Backend auf CPU und/oder GPU.
Quantization und breite Backend-Unterstützung reichen von kleinen CPU-Systemen bis Apple Silicon und NVIDIA/AMD GPU.
Runtime unterstützt Chat, Embeddings und Reranking; in Production sind getrennte Instanzen für unterschiedliche Modelle/Latenzprofile oft sauberer.
Modelreferenz an eigenes GGUF-Modell anpassen.
Türkei (Türkisch)
Germany (German)
Worldwide (English)
llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF --host 127.0.0.1 --port 8080curl -s http://127.0.0.1:8080/v1/models | headcurl -s http://127.0.0.1:8080/health | headps aux | grep '[l]lama-server'ss -lntp | grep ':8080'Built-in API Key bietet Basis-Auth; Internet-Production braucht TLS, Rate Limits, Request-Size-Limits, Access Logs und Tenant Quotas.
Ja, Chat Completions, Responses und Embeddings.
Ja, mit Reranking Endpoint und Modus.
Ja, aggressivere Quantization spart Memory, kann aber je Modell/Task Qualität kosten.
Teilen Sie GGUF-Modell, Quantization, Context, CPU/RAM, GPU/VRAM und Nutzer; Full-GPU oder Hybrid planen.