LLMs offline unter Windows: llama.cpp und Qwen3.6-27B auf Ihrer GPU

Sie können ein wirklich leistungsfähiges Sprachmodell auf Ihrem eigenen Windows-PC betreiben: komplett offline, ohne Konto, ohne Abo und ohne dass Daten Ihre Maschine verlassen. Diese Anleitung führt durch den gesamten Prozess mit llama.cpp und Qwen3.6-27B, einem starken offenen Modell vom April 2026, auf einer normalen Gaming-Grafikkarte. Kein Vorwissen nötig.

Warum überhaupt ein Modell offline betreiben

Drei praktische Gründe:

• Privatsphäre. Ihre Eingaben und Dokumente verlassen die Maschine nie. Sie können das Netzwerkkabel ziehen und einfach weiterschreiben.
• Kosten. Nach dem Download ist jede Antwort kostenlos. Keine abgerechneten Tokens, keine Ratenlimits.
• Kontrolle. Das Modell bleibt exakt so, wie es ist. Keine stillen Updates, die sein Verhalten über Nacht ändern.

Der Preis dafür: Sie brauchen einen ordentlichen PC, und die allergrößten Cloud-Modelle bleiben vorerst vorne. Aber für Texte, Zusammenfassungen, Programmierhilfe und Übersetzungen ist ein lokales 27B-Modell mehr als gut genug.

Was ein Sprachmodell eigentlich ist

Ohne Marketing betrachtet ist ein Modell ein riesiger Haufen Zahlen, die Gewichte genannt werden. Qwen3.6-27B hat 27 Milliarden davon (dafür steht das "27B"). Wenn Sie dem Modell etwas fragen, multipliziert die Software Ihren Text durch diese Zahlen und erzeugt Token für Token eine Antwort.

Daraus folgen direkt zwei Konsequenzen:

• Mehr Zahlen, größere Datei. In voller 16-Bit-Genauigkeit gespeichert, belegen 27 Milliarden Gewichte etwa 54 GB.
• Die Datei muss in schnellen Speicher passen. Für gute Geschwindigkeit müssen die Gewichte im Speicher Ihrer Grafikkarte (VRAM) liegen, nicht auf der Festplatte.

54 GB passen auf keine Consumer-Grafikkarte. Genau hier kommen die nächsten beiden Begriffe ins Spiel.

GGUF: das ganze Modell in einer Datei

GGUF ist das Dateiformat von llama.cpp, der am weitesten verbreiteten Open-Source-Engine für lokale Modelle. Eine GGUF-Datei bündelt alles in einem einzigen Download: die Gewichte plus Metadaten, die der Engine sagen, wie sie das Modell ausführen soll (Architektur, Tokenizer, Chat-Vorlage).

Für Sie heißt das: keine Installation von Modellcode, keine Python-Umgebung, keine Konfigurationssuche. Sie laden eine Datei herunter, zeigen llama.cpp darauf, fertig.

GGUF-Dateien für populäre Modelle liegen auf Hugging Face, der öffentlichen Modell-Registry. Für Qwen3.6-27B stellen die Community-Repositories von unsloth und bartowski sie innerhalb weniger Tage nach Veröffentlichung bereit.

Quantisierung, oder warum aus 54 GB 16 werden

Quantisierung ist verlustbehaftete Kompression für Gewichte. Statt jede Zahl mit 16-Bit-Genauigkeit zu speichern, speichern Sie sie mit 8, 6, 4 oder sogar 3 Bit. Die Datei schrumpft dramatisch, und das Modell wird messbar etwas schwächer, aber deutlich weniger, als man erwarten würde.

GGUF-Dateinamen kodieren die Kompressionsstufe. Sie werden Namen wie diese sehen:

• Q8_0 (8 Bit): etwa 28 GB bei diesem Modell. Vom Original kaum zu unterscheiden, braucht aber eine sehr große Karte.
• Q4_K_M (rund 4,8 Bit): etwa 17 GB. Der Sweet Spot der Community: klein genug für gängige Karten, Qualitätsverlust im Alltag kaum spürbar.
• Q3_K_M (rund 3,9 Bit): etwa 13 GB. Für kleinere Karten, mit sichtbarem, aber akzeptablem Qualitätsverlust.

Faustregel für Einsteiger: Nehmen Sie Q4_K_M. Passt es nicht, gehen Sie eine Stufe tiefer. Haben Sie VRAM übrig, eine Stufe höher. Der Unterschied zwischen "läuft überhaupt" und "läuft perfekt" ist kleiner als der Unterschied zwischen Q4 und Q8.

Was Sie brauchen

• Windows 10 oder 11, 64-Bit.
• Eine NVIDIA-Grafikkarte mit aktuellem Treiber. Ihren VRAM sehen Sie im Task-Manager unter Leistung, GPU, "Dedizierter GPU-Speicher".
  • 24 GB (RTX 3090, 4090, 5090): Q4_K_M passt bequem, selbst mit langer Gesprächshistorie.
  • 16 GB (RTX 4070 Ti Super, 4080 Laptop): Q4_K_M funktioniert mit moderater Kontextgröße.
  • 12 GB (RTX 4070): nutzen Sie Q3_K_M oder rechnen Sie mit teilweisem Offload.
• Etwa 20 GB freien Festplattenspeicher.
• AMD Radeon statt NVIDIA? Wird ebenfalls unterstützt: llama.cpp liefert vorgefertigte Vulkan- und HIP-Builds für Windows, siehe Schritt 1. Ganz ohne dedizierte GPU funktioniert es über den CPU-Build, nur deutlich langsamer.

Nicht sicher, was in Ihrem PC steckt? Lassen Sie Ihren Browser nachsehen:

Schritt 1: llama.cpp installieren

llama.cpp braucht keinen Installer. Laden Sie das vorgefertigte Windows-Release herunter:

1. Öffnen Sie die llama.cpp-Releases-Seite auf GitHub.
2. Laden Sie das neueste Asset für Ihre Grafikkarte herunter:
   • NVIDIA: llama-<version>-bin-win-cuda-x64.zip
   • AMD Radeon: llama-<version>-bin-win-vulkan-x64.zip (läuft auf jeder GPU mit Vulkan-Unterstützung, der einfachste Weg) oder llama-<version>-bin-win-hip-radeon-x64.zip (AMDs ROCm-Stack, auf aktuellen Karten der Serien RX 7000 und 9000 meist am schnellsten; ältere Karten brauchen eventuell einen eigenen Build)
   • Keine dedizierte GPU: llama-<version>-bin-win-cpu-x64.zip
3. Entpacken Sie es in einen einfachen Pfad, zum Beispiel C:\llama.cpp.

Das ist die gesamte Installation. Öffnen Sie ein Terminal in diesem Ordner (Rechtsklick im Explorer, "In Terminal öffnen") und prüfen Sie, ob es läuft:

llama-server.exe --version

Der Startbefehl aus Schritt 3 ist für alle drei Builds identisch: --n-gpu-layers 99 legt das Modell auf die GPU, die der jeweilige Build unterstützt. Mit dem CPU-Build lassen Sie den Schalter einfach weg.

Schritt 2: Das Modell herunterladen

1. Gehen Sie auf huggingface.co/unsloth/Qwen3.6-27B-GGUF und öffnen Sie den Reiter "Files".
2. Laden Sie die Datei herunter, die auf Q4_K_M.gguf endet (etwa 17 GB, das dauert eine Weile).
3. Legen Sie sie an einem merkbaren Ort ab, zum Beispiel C:\models\.

Für öffentliche Repositories ist kein Hugging-Face-Konto nötig.

Schritt 3: Den Server starten

Ein einziger Befehl:

llama-server.exe -m "C:\models\Qwen3.6-27B-Q4_K_M.gguf" --n-gpu-layers 99 -c 32768

Was die Schalter bedeuten:

• -m ist der Pfad zu Ihrer GGUF-Datei.
• --n-gpu-layers 99 legt das gesamte Modell auf die GPU. Das ist der wichtigste Schalter für Geschwindigkeit.
• -c 32768 setzt die Kontextgröße: wie viel Gespräch und eingefügten Text das Modell gleichzeitig im Blick behält. 32K ist ein guter Start; größere Werte kosten mehr VRAM.

Warten Sie ein paar Sekunden, bis die Gewichte geladen sind, und öffnen Sie dann http://localhost:8080 im Browser. Sie bekommen eine Chat-Oberfläche, die komplett auf Ihrer Maschine läuft. Fragen Sie etwas. Die erste Antwort einer Sitzung dauert länger; danach sollte der Text in Lesetempo fließen.

Wenn es nicht passt

Wenn das Laden fehlschlägt oder alles kriecht, passt das Modell nicht in Ihren VRAM. Drei Stellschrauben, in dieser Reihenfolge:

1. Kleinere Quantisierung. Q4_K_M auf Q3_K_M spart etwa 4 GB.
2. Kürzerer Kontext. -c 8192 statt 32768 gibt spürbar Speicher frei.
3. Teilweiser Offload. Reduzieren Sie --n-gpu-layers (zum Beispiel auf 40), damit der Rest auf der CPU läuft. Langsamer, funktioniert aber immer.

Wie es weitergeht

Der Server, den Sie gerade gestartet haben, spricht außerdem die OpenAI-API unter http://localhost:8080/v1. Die meisten Werkzeuge mit konfigurierbarem Endpunkt (Code-Assistenten, Notiz-Plugins, Ihre eigenen Skripte) können Ihr lokales Modell als Ersatz für eine kostenpflichtige API nutzen.

Und zum Vergleichen: Dieselben drei Schritte funktionieren für jedes andere GGUF-Modell auf Hugging Face. Andere Datei herunterladen, den -m-Pfad ändern, und Sie betreiben ein anderes Modell. Das Modell ist eine Datei. Sie gehört jetzt Ihnen.