Halkali Merkez Viertel Fatih Str. Ozgur Apt. No. 46, Kucukcekmece, Istanbul, 34303, TR
Wir haben Qwen3.8-27B in LM Studio 0.4.21 auf einem realen Windows-PC geladen und den ersten Engine-Fehler, die 8-GB-VRAM-Grenzen der RTX 2070, GPU-Offload-Tests, Think/Reasoning-Latenz und saubere Benchmark-Ergebnisse mit 22 Original-Screenshots dokumentiert.
Türkei (Türkisch)
Germany (German)
Worldwide (English)
Context 4096
CPU Threads 6
Eval Batch 1024
Concurrent 1
Dedicated Limit ON
Think OFF
Clean test 2.82 tok/snLM Studio führt Qwen3.8-27B als dichtes 27B-Vision-Language-Modell für Coding, professionelle Arbeit, Recherche und lang laufende Agent-Aufgaben. Unterstützt werden Vision, Tool Use, konfigurierbares Reasoning und ein nativer Kontext bis 262K Token.
Dieser Leitfaden zeigt einen realen Windows-Test statt eines synthetischen Benchmarks: Ladefehler, GPU-Offload-Versuche, RTX-2070-VRAM-Grenzen und Think/Reasoning werden mit den Original-Screenshots dokumentiert.
Das Testsystem verwendet Intel Core i7-10875H, 63,84 GB RAM und NVIDIA GeForce RTX 2070 mit 8 GB VRAM. Alle Geschwindigkeitswerte gelten nur für dieses System.
Direkt nach dem Download zeigte der erste Load-Model-Versuch „Model failed to load“ und „Engine protocol startup was aborted“. Die Meldung beweist keine einzelne Ursache, sondern bedeutet, dass der Start der Inference-Engine beendet wurde, bevor das Modell bereit war.
Prüfen Sie, ob der Download abgeschlossen ist, ob das Modell korrekt gelistet wird, ob Runtime und Logs in Ordnung sind, und laden Sie erneut. Bei Bedarf Kontext und GPU-Offload reduzieren.
Im Test ließ sich dasselbe Modell nach kurzer Wartezeit und erneutem Load Model erfolgreich laden.
Das erste Profil nutzte 8192 Kontext, 21 GPU-Offload-Layer, sechs CPU-Threads, Evaluation Batch 2048, Physical Batch 512 und vier parallele Vorhersagen.
Ein einfacher Gruß erreichte etwa 2,74 Token/s, gleichzeitig wurden 13,66 Sekunden Thinking angezeigt. Die gefühlte Verzögerung kam daher nicht nur von der Ausgabe, sondern auch vom Reasoning.
Für faire Vergleiche sollten Prompt und Chat-Verlauf konstant bleiben.
Wir reduzierten den Kontext auf 4096, erhöhten GPU-Offload auf 23, setzten Evaluation Batch auf 1024 und Max Concurrent Predictions auf 1.
Nach dem Neuladen wurden etwa 2,89 Token/s gemessen. Das war etwas schneller als das 21-Layer-Profil und blieb stabil.
Der CPU Thread Pool blieb bei 6; mehr Threads sind nicht automatisch schneller.
Context Length: 4096
GPU Offload: 23
CPU Thread Pool: 6
Evaluation Batch: 1024
Physical Batch: 512
Max Concurrent Predictions: 1
Unified KV Cache: ON
Ein 27B-Modell mit Runtime-Puffern passt nicht vollständig in die 8 GB VRAM der RTX 2070.
Ohne Dedicated-Memory-Limit fiel der 65-Layer-Test auf etwa 1,30 Token/s und war damit deutlich langsamer als 23 Offload mit 2,89 Token/s.
Shared GPU Memory unter Windows kann zum Flaschenhals werden. LM Studio bietet dafür ein Dedicated-Memory-Limit.
Die Hardware-Seite zeigte i7-10875H, 63,84 GB RAM und RTX 2070 8 GB VRAM. „Limit Model Offload to Dedicated GPU Memory“ war zunächst deaktiviert.
Laut LM Studio begrenzt diese Option Modellgewichte auf dedizierten GPU-Speicher. Reicht VRAM nicht aus, wird der tatsächliche GPU-Offload reduziert und der Rest im System-RAM gehalten.
KV-Cache-Offload zur GPU blieb im Test aktiviert und kann bei knappem VRAM separat gemessen werden.
Windows: Ctrl + Shift + H
RTX 2070: ON
Limit Model Offload to Dedicated GPU Memory: ON
Offload KV Cache to GPU Memory: ON
Nach Aktivierung des Limits weist LM Studio beim Laden darauf hin, dass die tatsächliche Zahl der Offload-Layer von der angeforderten Zahl abweichen kann.
Der limitierte 65-Test erreichte etwa 2,45 Token/s: deutlich besser als 1,30 ohne Limit, aber langsamer als 2,89 bei 23 Offload.
Die optimale Einstellung muss daher weiterhin pro System gemessen werden.
Bei sehr kurzen Grüßen zeigten die Screenshots 13,66, 26,42 und 38,52 Sekunden Thinking. Ein großer Teil der Wartezeit entstand vor der sichtbaren Antwort.
Mit deaktiviertem Think antwortet das Modell bei einfachen Chats direkter. Für Code, Mathematik, Planung und komplexe Analysen kann Reasoning wieder aktiviert werden.
Der erste Think-Off-Test lief noch in einem älteren Chat und war daher kein sauberer Benchmark.
Schneller Alltag: Think = OFF
Komplexe Analyse: Think = ON + Reasoning Low/Medium
Ein längerer Chat-Verlauf erhöht die Zahl der Input-Token. Für Vergleiche ist deshalb ein neuer Chat mit null Token sinnvoll.
Im neuen Chat war Think deaktiviert; der kurze Gruß erreichte etwa 2,82 Token/s in 4,35 Sekunden.
Für verlässlichere Messungen sollte ein fixer Prompt mit 150-300 Ausgabe-Token verwendet werden.
Benchmark-Prompt:
Erkläre in etwa 300 Wörtern, wie man mit PHP PDO ein sicheres Login-System erstellt.
Als Startpunkt eignen sich 4096 Kontext, sechs CPU-Threads, Evaluation Batch 1024, Physical Batch 512, eine parallele Vorhersage und aktiviertes Dedicated-Memory-Limit.
Think kann im Alltag deaktiviert bleiben. Speculative Decoding war in den Screenshots mit ungefähr 46-59% Draft-Token-Akzeptanz aktiv und sollte separat ON/OFF verglichen werden.
GPU-Offload um 23 mit einem limiter-aktivierten Maximalversuch vergleichen, statt einen universellen Wert anzunehmen.
Context: 4096
CPU Threads: 6
Evaluation Batch: 1024
Physical Batch: 512
Concurrent Predictions: 1
Dedicated GPU Memory Limit: ON
KV Cache GPU Offload: ON
Think: OFF für Alltag
GPU Offload: bei ca. 23 starten und messenQwen3.8-27B kann mit 8 GB VRAM und ausreichend RAM laufen, doch teilweiser RAM/CPU-Betrieb begrenzt die Geschwindigkeit. Lange Kontexte, Vision, parallele Anfragen und höhere Token/s-Ziele profitieren von mehr VRAM.
Die allgemeinen Windows-Empfehlungen von LM Studio liegen bei mindestens 16 GB RAM und 4 GB dediziertem VRAM; ein 27B-Modell muss zusätzlich nach Quantisierung und Kontext dimensioniert werden.
Für gehostete Local-AI-Workloads sollten CPU, RAM und GPU nach Modellformat, Kontext, gleichzeitigen Nutzern und Ziel-Durchsatz geplant werden.
Ja. In diesem Leitfaden wurde Qwen3.8-27B in LM Studio 0.4.21 real geladen und für Chat-Ausgaben verwendet. Der Speicherbedarf hängt von Quantisierung, Kontextlänge und Offload-Einstellungen ab.
Der LM-Studio-Modellkatalog nennt für die kleinste Qwen3.8-Option mindestens 17 GB RAM. Für ein 27B-Modell, größere Kontexte und teilweisen CPU/RAM-Offload ist mehr Systemspeicher in der Praxis hilfreich.
In diesem Test lief das Modell auf einer RTX 2070 mit 8 GB VRAM und rund 64 GB RAM. Das gesamte 27B-Modell passt nicht in 8 GB VRAM, daher verbleibt ein Teil in RAM/CPU und die Generierung ist langsamer als auf GPUs mit viel VRAM.
Die LM-Studio-Inference-Engine wurde beendet, bevor das Modell bereit war. Es gibt nicht nur eine mögliche Ursache. Logs prüfen, Download abschließen, Modell neu laden und konservativere Kontext-/Offload-Werte testen.
Wenn unter Windows der dedizierte VRAM voll ist, kann Shared GPU Memory die Leistung verschlechtern. Das Dedicated-Memory-Limit von LM Studio soll Modellgewichte auf dedizierten VRAM und System-RAM begrenzen.
Auf NVIDIA-/Windows-Systemen, auf denen das Modell nicht vollständig in den VRAM passt, lohnt sich ein Test. LM Studio kann die tatsächliche Zahl der GPU-Offload-Layer automatisch auf das im dedizierten VRAM mögliche Maß reduzieren.
Der Non-Thinking-Modus ist für schnelle Alltagsfragen geeignet. Für Code, Mathematik, Planung und komplexe Analysen kann Reasoning wieder aktiviert werden.
Nein. Ein Draft-Modell schlägt Token vor, die das Hauptmodell prüft. Das kann beschleunigen, aber zusätzlicher Speicherverbrauch oder eine niedrige Akzeptanzrate kann den Vorteil aufheben. Beide Varianten sollten gemessen werden.
Nicht automatisch. Lange Kontexte erhöhen Cache- und Speicherbedarf. Für lokale Nutzung sind 4096 oder 8192 als Startpunkt oft praktischer.
Mit 23 GPU-Offload-Layern wurden etwa 2,89 Token/s erreicht. Ein frischer Chat mit deaktiviertem Think und aktivem Dedicated-Memory-Limit erreichte etwa 2,82 Token/s. Diese Werte gelten nur für das Testsystem.
CPU, RAM, NVMe und GPU für Qwen, Ollama, LM Studio und andere lokale LLMs nach Modell, Kontext und Parallelität dimensionieren.
Aktualisiert: 15.08.2026