LLM selbst hosten auf einem VPS.
Keine GPU. Kein API-Key. Kein Prompt verlässt je das Gebäude.

Die ehrliche Version dieses Abschnitts ist mehr wert als eine begeisterte, denn der schnellste Weg, ein selbst gehostetes Modell wieder aufzugeben, ist, es auf genau die Aufgabe anzusetzen, bei der es am schlechtesten ist, und daraus zu schließen, die ganze Idee sei unsinnig.

Passt bequem. Alles, bei dem die Ausgabe kurz ist und der Wert in der Beurteilung liegt, nicht in der Prosa. Eine Nachricht in eine von wenigen Kategorien einordnen. Entscheiden, ob ein Support-Ticket dringend ist. Fünf Felder aus einer Rechnung als JSON extrahieren. Einen Thread in drei Sätzen zusammenfassen. Ein Dokument taggen. Eine Produktbeschreibung umschreiben. Eine kurze Zeichenkette übersetzen. Erkennen, ob zwei Datensätze dieselbe Person beschreiben. Namen aus einem Absatz schwärzen, bevor er irgendwohin weitergeht. Jede dieser Aufgaben verarbeitet eine lange Eingabe und liefert eine kurze Ausgabe — genau die Asymmetrie, mit der eine CPU gut zurechtkommt.

Passt, mit Geduld. Arbeit, auf die kein Mensch wartet. Nächtliche Batches, Queue-Worker, ein nächtlicher Durchlauf über die Dokumente des Tages, ein geplanter Report. Wenn nichts auf die Antwort wartet, spielt eine Token-Rate, die in einem Chat-Fenster unerträglich wäre, überhaupt keine Rolle mehr — ein Job, der um drei Uhr morgens sechs Minuten läuft, ist einfach ein Job, der gelaufen ist.

Passt nicht. Ein interaktiver Assistent, den Menschen tatsächlich gerne benutzen: Bei diesen Raten kriecht der Cursor, und die Erfahrung ist schlechter als gar kein Assistent. Lange Texte am Stück — schreib mir zweitausend Wörter —, bei denen die gesamte Ausgabe der langsame Teil ist. Coding-Agenten, die über ein großes Repository iterieren, wo sowohl der Kontext als auch der Qualitätsanspruch das übersteigen, was ein kleines Modell leisten kann. Alles, was einen Kontext von hunderttausend Tokens braucht, bei dem allein der Cache die Maschine sprengt. Und Bild- oder Videomodelle, die eine völlig andere Disziplin sind und tatsächlich eine GPU wollen.

Wenn Ihre Arbeitslast in diese letzte Gruppe fällt, ist die vernünftige Antwort nicht eine größere CPU-Maschine, sondern ein Hybrid. Behalten Sie ein lokales Modell für den Großteil der Aufrufe und leiten Sie die Handvoll, die Spitzen-Reasoning braucht, an eine gehostete API — genau das Muster, das die Anleitung zum 24/7-Betrieb eines KI-Agenten für die Laufzeitseite beschreibt. Diese Anleitung hat das Modell selbst absichtlich ausgeklammert. Diese hier ist die fehlende Hälfte.

Härten Sie die Maschine zuerst — SSH nur mit Schlüssel, eine Firewall, die nichts erlaubt, was Sie nicht ausdrücklich wollten, unbeaufsichtigte Sicherheitsupdates. Die Checkliste für die erste Stunde dauert etwa eine Stunde, und diese Maschine wird schon bald jede Frage speichern, die Sie ihr stellen.

Installieren Sie dann den Runner. Ollama ist llama.cpp, umhüllt von einer Modell-Registry, einer REST-API und einer systemd-Unit, und der Ein-Zeilen-Installer richtet alle drei ein:

apt update && apt install -y curl
curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama --no-pager
ss -ltnp | grep 11434
# → 127.0.0.1:11434 — loopback only. Leave it that way.

Diese letzte Zeile ist die, die man zweimal liest. Von Haus aus lauscht der Dienst auf der Loopback-Schnittstelle, was genau richtig ist, und der häufigste Fehler in den nächsten zehn Minuten ist, OLLAMA_HOST auf 0.0.0.0 zu setzen, weil etwas auf einer anderen Maschine nicht herankam. Schritt 04 zeigt, wie man es richtig erreichbar macht; es gibt keine Variante davon, in der Port 11434 direkt zum Internet zeigt.

Zwei Einstellungen lohnt es sich, jetzt zu setzen, statt sie später zu entdecken. Modelle werden standardmäßig unter /usr/share/ollama gespeichert und sind groß, also richten Sie das dorthin, wo Sie Platz haben. Und der Standardwert hält ein Modell fünf Minuten nach der letzten Anfrage im RAM resident, was großzügig ist auf einer Maschine, die auch andere Arbeit erledigt:

systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

systemctl daemon-reload && systemctl restart ollama

Parallele Anfragen und mehrere geladene Modelle vervielfachen beide den Speicherbedarf, und auf einer Maschine, die genau für ein Modell dimensioniert ist, gibt es kein Gigabyte übrig für eine zweite Kopie. Die Warteschlange zu serialisieren ist auf dieser Hardware keine Einschränkung — es ist die einzige Konfiguration, die nicht in sich zusammenfällt.

Das ist der Teil der Anleitung, der etwas Schlimmes verhindert, deshalb wird er ohne Wenn und Aber gesagt: Die Ollama-API hat kein Passwort, kein Token, kein Benutzermodell und kein Berechtigungssystem. Was auch immer eine TCP-Verbindung zu Port 11434 aufbauen kann, kann Text auf Ihrer CPU generieren, die heruntergeladenen Modelle auflisten, neue herunterladen und die genutzten löschen. Es gibt keine Einstellung, die man aktivieren könnte, weil es keinen Mechanismus gibt, den man aktivieren könnte.

Port 11434 wird ständig gescannt, aus dem naheliegenden Grund: Ein offener Model-Runner ist kostenlose Rechenleistung für jemand anderen. Das Symptom ist kein Alarm. Es ist eine Maschine, die sich zwei Wochen lang langsam anfühlt, und ein Bandbreiten-Graph, der zu nichts passt, was Sie getan haben. Halten Sie den Dienst auf Loopback, und stellen Sie etwas davor, das fragt, wer da anruft.

Wenn nichts außerhalb dieser Maschine das Modell braucht, hören Sie hier auf — Sie sind bereits fertig. Loopback plus Firewall ist eine vollständige Antwort, und ein Agent, ein Automatisierungs-Stack oder eine Webanwendung auf demselben VPS erreicht das Modell über 127.0.0.1, ganz ohne das Folgende. Machen Sie nur weiter, wenn etwas auf einer anderen Maschine es aufrufen muss.

Der Proxy, und das Token. Erzeugen Sie ein langes zufälliges Token, richten Sie einen A-Record auf die Maschine, und lassen Sie Caddy sowohl das Zertifikat als auch die Tür übernehmen:

openssl rand -hex 32      # → the bearer token, store it in a password manager
apt install -y caddy

/etc/caddy/Caddyfile

llm.example.com {
    @unauthorised not header Authorization "Bearer PASTE_THE_HEX_TOKEN_HERE"
    respond @unauthorised "unauthorised" 401

    reverse_proxy 127.0.0.1:11434 {
        # Generation is slow by nature — do not let the proxy give up first.
        transport http {
            read_timeout 10m
        }
    }
}

systemctl reload caddy
ufw allow 80,443/tcp
ufw status                # 11434 must appear nowhere

Es steckt eine kleine Eleganz darin, ein Bearer-Token statt Basic Authentication zu wählen. Ollama bietet eine OpenAI-kompatible API, und jeder OpenAI-Client sendet seinen Schlüssel genau als diesen Header — sodass das Token, das Sie gerade erzeugt haben, zum API-Schlüssel wird, den Ihre Anwendungen bereits mitzuführen wissen. Nichts braucht einen eigenen Header, und der Zugriff lässt sich mit einer Zeile im Caddyfile und einer Umgebungsvariable beim Aufrufer rotieren.

Prüfen Sie es von einer Maschine aus, die nicht der Server ist. Der erste Aufruf sollte abgelehnt werden, der zweite sollte antworten:

curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
# → 401

curl -s https://llm.example.com/api/tags -H "Authorization: Bearer THE_TOKEN" | jq '.models[].name'
# → the list of models you pulled

Wenn das Modell von Agenten aufgerufen wird statt von Ihnen selbst, verdient die Frage der Exponierung die ausführlichere Behandlung in der Anleitung zum Hosten eines entfernten MCP-Servers — dieselbe Überlegung zu TLS, Tokens und Erreichbarkeit, angewendet auf einen Dienst, der Werkzeuge statt Tokens ausgibt.

Kontext begrenzen. Die Kontextlänge ist der wichtigste Regler für den Speicherbedarf, und der Standardwert ist großzügiger, als eine kleine Maschine verträgt. Setzen Sie ihn global auf das, was Ihr längster realistischer Prompt tatsächlich braucht — die meisten Klassifizierungs- und Extraktionsaufgaben liegen bequem innerhalb von viertausend Tokens —, und erhöhen Sie ihn pro Anfrage für die seltenen Fälle, die mehr brauchen:

Environment="OLLAMA_CONTEXT_LENGTH=4096"

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "…a long document…",
  "options": { "num_ctx": 16384 },
  "stream": false
}'

Entscheiden Sie, wie lange das Modell im Speicher bleibt. Ein resident gehaltenes Modell antwortet sofort, hält dafür aber mehrere Gigabyte belegt. Auf einer Maschine, die ausschließlich für Inferenz reserviert ist, lassen Sie es dauerhaft geladen; auf einer geteilten lassen Sie es nach einer Weile wieder entladen. Der Wert lässt sich auch pro Anfrage setzen, sodass ein nächtlicher Batch das Modell für seinen Lauf festhalten und danach wieder freigeben kann:

OLLAMA_KEEP_ALIVE=-1     # resident until the service restarts
OLLAMA_KEEP_ALIVE=30m    # a sensible default on a shared box
OLLAMA_KEEP_ALIVE=0      # unload immediately after each request

ollama ps                # what is resident right now, and how much it holds

Warteschlange serialisieren. Zwei gleichzeitige Anfragen an ein Modell laufen nicht doppelt so schnell; sie konkurrieren um denselben gesättigten Speicherpfad, und jede wird langsamer — und wenn Ollama beschließt, zur Bedienung eine zweite Kopie zu laden, geht der Maschine der RAM aus. Bei dieser Hardware-Klasse ist eine Anfrage nach der anderen, mit einer Warteschlange davor, sowohl die schnellste als auch die einzige sichere Konfiguration — deshalb wurden OLLAMA_NUM_PARALLEL und OLLAMA_MAX_LOADED_MODELS bereits in Schritt 02 auf eins festgelegt.

Die Festplatte im Blick behalten. Vier Modelle zu vergleichen hinterlässt vier Modelle, und bei je fünf Gigabyte füllt sich die Festplatte leise, ohne dass etwas meckert. Machen Sie das Aufräumen zum Teil des Vergleichs, nicht zu einer Aufgabe für später:

ollama list
du -sh /var/lib/ollama/models
ollama rm mistral:7b qwen2.5:14b

Sichern Sie am Ende, was sich nicht reproduzieren lässt. Die Modellgewichte gehören nicht dazu — ein Pull holt sie zurück. Ein Repository lohnt sich für die Konfiguration, das Caddyfile, das Token, die Prompts, die Sie über drei Wochen verfeinert haben, und, falls vorhanden, den Vektorindex hinter Ihrem Retrieval. Die Anleitung zu verschlüsselten Backups behandelt die Mechanik; die Liste dessen, was für diese Maschine dazugehört, ist kurz und lohnt sich aufzuschreiben.

Man denkt über die Privatsphäre von Modellen so nach, als läge das Risiko in der Ausgabe. Das stimmt nicht. Die Ausgabe ist generischer Text; tausend andere Leute haben etwas Ähnliches bekommen. Das verräterische Artefakt ist die Eingabe — und ein Jahr an Eingaben ist ein bemerkenswert vollständiges Porträt einer Organisation.

Überlegen Sie, was ein Anfrage-Log tatsächlich enthält. Der Vertrag, den Sie zum Zusammenfassen eingefügt haben. Die Kunden-E-Mail, die klassifiziert werden sollte, mit dem Kunden darin. Der Arztbrief, die Gehaltszahl, die Kündigung, an der Sie gerade schrieben, der Code aus einem Repository, das nicht öffentlich ist. Dazu die Metadaten drumherum: welche Fragen, in welcher Reihenfolge, zu welcher Uhrzeit, von welcher Adresse, über wie viele Monate. Niemand unterschreibt ein Dokument mit der Aufschrift „Hier ist unsere Strategie“ — aber die Abfolge der Fragen ist genau dieses Dokument, ehrlich zusammengestellt, von Ihnen, einen Aufruf nach dem anderen.

Ebene eins — was der Endpunkt behält. Seriöse Anbieter veröffentlichen seriöse Richtlinien, und die guten trainieren tatsächlich nicht mit Business-API-Traffic. Das ist nicht dasselbe Versprechen wie „wir speichern es nicht“. Anfragen werden meist für eine gewisse Zeit zur Missbrauchsüberwachung gespeichert, sind unter definierten Bedingungen für Mitarbeiter einsehbar und können im Rahmen eines gerichtlichen Verfahrens herausgegeben werden — genau die richtige Art, eine große Plattform zu betreiben, und genau der falsche Ort für Text, den Sie keinem Fremden per E-Mail schicken würden. Ein Modell auf Ihrer eigenen Maschine führt kein solches Log, es sei denn, Sie schreiben eines.

Ebene zwei — die Identität, mit der das Log verknüpft ist. Aufbewahrung allein ist nur die halbe Exponierung. Die andere Hälfte ist der Schlüssel, mit dem sie verknüpft wird: ein Konto, ein Firmenname, eine Rechnungsadresse, eine Karte. Diese Verknüpfung macht aus „jemand hat nach der Übernahme eines Wettbewerbers gefragt“ ein „dieses Unternehmen hat gefragt, an jenem Dienstag“. Das Modell aus der Gleichung zu nehmen entfernt die Aufbewahrung; die Identität von der Maschine zu nehmen entfernt die Verknüpfung. Ein VPS, eröffnet ohne E-Mail-Adresse oder Ausweisdokument, in einer nordischen Jurisdiktion, bezahlt in Monero, ist die zweite Hälfte desselben Schritts.

Ebene drei — die Logs, die Sie selbst schreiben. Self-Hosting verschiebt das Risiko, statt es zu beseitigen, und es lohnt sich, sich klarzumachen, wo es landet. Ihre Anwendung protokolliert vermutlich ihre eigenen Prompts. Ihr Reverse Proxy protokolliert jede Anfragezeile. Eine Debugging-Sitzung vor zwei Monaten hat ausführliche Ausgaben im Journal hinterlassen. Das Modell selbst behält zwischen Aufrufen nichts, aber die Maschinerie drumherum kann alles behalten — entscheiden Sie also bewusst, was aufgeschrieben wird, setzen Sie eine Aufbewahrungsfrist dafür, und legen Sie an dieses Log denselben Maßstab an, den Sie bei jemand anderem nicht akzeptiert hätten.

Nichts davon macht ein lokales Modell von sich aus zu einer Datenschutzgarantie. Es macht es zu der einen Architektur, bei der die Garantie in Ihrer Hand liegt: Der Text bleibt auf Hardware, die Sie mieten, unter einer Jurisdiktion, die Sie gewählt haben, hinter einem Token, das Sie ausgestellt haben, und ist niemand anderem gegenüber rechenschaftspflichtig.