Hinter den Projekten · Snakkie

Lokale KI ohne GPU: Wie mein Debian-Server Snakkie das Sprechen und Recherchieren beibrachte

In diesem Artikel
  1. Vom Wissensbuch zum Sprachmodell
  2. Worldnode und llama.cpp
  3. Was der Xeon im Benchmark schafft
  4. Die erste Webrecherche mit SearXNG
  5. Von zwei SSH-Terminals zum dauerhaften Betrieb
  6. Was ich davon im Alltag erwarte
  7. Quellen

Als ich Snakkie auf meinem Debian-Server zum ersten Mal antworten ließ, schrieb er: „Ich bin gerne zur Snacke!“ Das war kein Satz, den ich ihm beigebracht hatte. Für einen kleinen Pinguin, der bis dahin aus einem Wissensbuch vorgelesen hatte, war es ein Anfang. Ein bisschen holprig. Aber immerhin mit eigener Idee.

Am 13. November 2026 habe ich auf Worldnode ausprobiert, ob ein altes Xeon-System ohne Grafikkarte ein kleines Sprachmodell und eine eigene Suchinstanz betreiben kann. Mich interessierte vor allem, wie lange ich auf die Antwort warten muss und ob der Pinguin nachschlagen kann, wenn ihm Wissen fehlt.

Links die frühere Snakkie-Seite in Firefox, daneben der Recherche-Prototyp und Ausgaben von llama.cpp und SearXNG im Terminal.
Worldnode-Versuch vom 13. November 2026. Die Website und der separate Terminal-Prototyp sind nebeneinander geöffnet. Lokale Pfade und Teile des Logs sind abgedeckt.

Vom Wissensbuch zum Sprachmodell

Snakkie ist Nebbys Cousin aus Wiesmoor. Vor dem Serverversuch beantwortete er vertraute Fragen mit gepflegten Texten. Er konnte einen aus hundert Witzen erzählen, „Moin“ erklären und den Wetterbericht meines World Observers für Wiesmoor anzeigen. Das funktioniert schnell und ergibt bei diesen Fragen verlässliche Antworten. Bei einer Rückfrage zur vorherigen Antwort oder einer neuen Frage ohne passenden Eintrag kam die Sammlung an ihre Grenze.

Ich hatte bereits versucht, ein kleines Modell direkt im Browser laufen zu lassen. Das ging grundsätzlich, war in meinen Tests aber zu langsam für einen entspannten Chat. Also habe ich das Modell auf Worldnode verlagert. Auf diesem Rechner laufen auch meine Website, das Gästebuch, der World Observer und meine GoToSocial-Instanz. Die Frage war damit auch, wie viel CPU-Zeit ich dem Pinguin geben kann.

Worldnode und llama.cpp

Worldnode ist eine KVM/QEMU-VM mit Debian 13 „Trixie“, vier virtuellen CPU-Kernen eines Intel Xeon E5-2699C v4 und rund 23,4 GiB RAM. Der Gast hat AVX2 und FMA, aber keine dedizierte GPU. Für diesen Versuch habe ich llama.cpp selbst kompiliert und llama-server mit zwei Threads und einem Slot betrieben. Der Startlauf im Screenshot zeigt ein Kontextfenster von 2048 Tokens.

llama.cpp lädt das Modell aus einer GGUF-Datei. Die Varianten im Versuch verwenden Q4_K_M, ein Quantisierungsformat, das Modellgewichte kompakter ablegt. Ein kleineres Modell und weniger Gewichtsdaten helfen, wenn dieselbe CPU die Gewichte lesen und die Antwort berechnen muss. Der tatsächliche Durchsatz hängt auch vom Modell, den Threads und der Maschine ab.

Ein nachvollziehbarer Beispielablauf für einen frischen llama.cpp-Checkout sieht so aus. Der Pfad zur GGUF-Datei ist ein Platzhalter. Die Befehle zeigen die CPU-Kompilierung und einen kurzen Vergleichslauf, ohne eine Modell-API zu öffnen.

cmake -S . -B build -DCMAKE_BUILD_TYPE=Release -DGGML_NATIVE=ON
cmake --build build --config Release --parallel 2 --target llama-bench llama-server
./build/bin/llama-bench -m /pfad/zum/modell.gguf -t 2 -p 128 -n 64

Was der Xeon im Benchmark schafft

Prompt-Verarbeitung misst, wie schnell das Modell die vorhandene Eingabe verarbeitet. Textgenerierung misst, wie schnell es neue Tokens erzeugt. Dabei baut jedes neue Token auf dem bisherigen Text auf. Im Chat kommen zu beiden Zeiten noch gegebenenfalls die Suche und die Vorbereitung der Anfrage hinzu.

Balkendiagramm mit Prompt-Verarbeitung und Textgenerierung für drei Qwen3-Messläufe. Die genauen Werte stehen in der folgenden Tabelle.
Gemessener Durchsatz auf Worldnode in Tokens pro Sekunde. T steht für Threads.
Qwen3 CPU-Messwerte auf Worldnode
ModellThreadsPrompt-Tokens/sAusgabe-Tokens/s
Qwen3 0.6B Q4_K_M280,7416,92
Qwen3 1.7B Q4_K_M226,396,34
Qwen3 1.7B Q4_K_M335,516,30

Mit drei Threads hat das 1.7B-Modell in diesem Lauf die Eingabe schneller verarbeitet. Die Generierung schwankte dabei stark und lag mit 6,30 Tokens pro Sekunde im gemessenen Lauf nahe an den 6,34 mit zwei Threads. Das 0.6B-Modell war bei der Ausgabe deutlich schneller. Auf dieselbe technische Frage zu Worldnode mit vorgegebenen Quellen antwortete 1.7B allerdings verständlicher. Deshalb bin ich bei 1.7B und zwei Threads geblieben. Bei etwa sechs Tokens pro Sekunde braucht allein die Generierung einer Antwort mit 100 Tokens ungefähr 16 Sekunden.

Die erste Webrecherche mit SearXNG

Für die Suche habe ich SearXNG als eigenen Dienst aufgesetzt. Mein erster Test war „Dennis Hilk“. Die JSON-Suche lieferte 38 Treffer. Darunter waren meine Website und GitHub. Ein kurzes Python-Skript wählte passende Ergebnisse aus, kürzte ihre Auszüge und übergab sie zusammen mit der Frage an llama.cpp. Die Antwort nannte einige meiner Linux- und Open-Source-Projekte und setzte Nummern an die Aussagen. Das war die Kette, die ich im Terminal sehen wollte.

Eine Trefferzahl sagt wenig über die Qualität der Quellen. Ein Suchauszug kann alt sein, nur einen Teil des Zusammenhangs zeigen oder sich auf eine andere Person beziehen. Im Browser-Chat soll eine Quellenangabe deshalb nur auf einen Treffer verweisen, den die Anwendung der Antwort tatsächlich mitgegeben hat. Die Oberfläche kennzeichnet die Recherche als Arbeit mit Suchauszügen. Bei einem fehlgeschlagenen Abruf oder wenn sich keine Quelle zuordnen lässt, bekommt der Besucher einen entsprechenden Hinweis.

Von zwei SSH-Terminals zum dauerhaften Betrieb

Zum Experiment gehörten zwei systemd-Benutzerdienste, snakkie-ai.service für llama.cpp und snakkie-search.service für SearXNG. Autostart und Linger lassen sie unabhängig von einer offenen SSH-Sitzung laufen. Beide Dienste hören intern auf Loopback. Der Modelldienst ist für den Dauerbetrieb mit API-Schlüssel und CPU-/RAM-Grenzen vorgesehen. Im späteren Test wurde eine Anfrage ohne Schlüssel mit HTTP 401 abgewiesen. Der Screenshot stammt aus dem früheren Terminalversuch und zeigt noch dessen Startwarnung.

Für Snakkie 0.4 habe ich zwischen Website und Modell eine kleine Schnittstelle eingebaut. Der Browser ruft sie über dieselbe HTTPS-Adresse auf. Wetter, Witze und vertraute Fragen laufen weiter über die vorhandenen Quellen. Bei offenen Fragen hilft ein kurzer Gesprächsverlauf, damit „Erklär das einfacher“ einen Bezug hat. Auf der Website zeigen die zwei Sprachfassungen auch an, wenn das Modell beschäftigt ist oder die Suche ausfällt.

Was ich davon im Alltag erwarte

Ein Slot bedeutet eine Modellanfrage zur Zeit. Bei gleichzeitigen Besuchern muss Snakkie freundlich um einen neuen Versuch bitten. Ein kleines Modell kann Zusammenhänge falsch lesen, und externe Suchmaschinen können blockieren oder verspätet antworten. Das Sprachmodell selbst läuft auf Worldnode. Bei Webrecherche können die eingerichteten Suchanbieter die nötigen Suchbegriffe erhalten.

Mir gefällt an dem Versuch, dass ich die Teile einzeln messen und austauschen kann. Der Xeon kann einen kleinen Chat bedienen, und mein Wiesmoor-Wetter braucht auch weiterhin kein Sprachmodell. Wenn du sehen möchtest, wie sich beides anfühlt, schnack mit Snakkie.

Quellen