Запустить LLM на VPS.
Без GPU. Без API-ключа. Ни один промпт не покидает сервер.

Честная версия этого раздела ценнее восторженной, потому что быстрее всего люди отказываются от локальной модели, поручив ей ту единственную задачу, с которой она справляется хуже всего, и решив, что вся затея была глупой.

Помещается с запасом. Всё, где вывод короткий, а ценность — в самом суждении, а не в объёме текста. Отнести сообщение к одной из нескольких категорий. Решить, срочный ли тикет поддержки. Извлечь пять полей из счёта в виде JSON. Сжать переписку до трёх предложений. Проставить теги документу. Переписать описание товара. Перевести короткую строку. Определить, описывают ли две записи одного и того же человека. Удалить имена из абзаца, прежде чем он куда-либо уйдёт. Каждая из этих задач потребляет длинный ввод и выдаёт короткий вывод — именно такую асимметрию CPU обрабатывает хорошо.

Помещается, но нужно терпение. Работа, на которую никто не ждёт ответа в реальном времени. Ночные пакетные задачи, обработчики очередей, ночной проход по документам за день, отчёт по расписанию. Если ничего не блокируется в ожидании ответа, скорость в токенах, невыносимая в чат-окне, вообще перестаёт иметь значение — задача, которая шесть минут выполняется в три часа ночи, — это просто задача, которая выполнилась.

Не помещается. Интерактивный ассистент, которым людям действительно приятно пользоваться: на такой скорости курсор еле ползёт, и опыт получается хуже, чем без ассистента вовсе. Генерация больших текстов — «напиши мне две тысячи слов» — где весь вывод целиком и есть медленная часть. Кодинг-агенты, перебирающие большой репозиторий, где и контекст, и требуемое качество превышают возможности небольшой модели. Всё, что требует контекста в сто тысяч токенов, — здесь один только кэш перерастёт возможности сервера. И модели для изображений или видео — это совсем другая дисциплина, которой действительно нужен GPU.

Если ваша нагрузка относится к этой последней группе, разумный ответ — не покупать более мощный CPU-сервер, а сделать гибрид. Держите локальную модель для основной массы вызовов и направляйте немногие случаи, требующие рассуждений топового уровня, в облачный API — именно такую схему для рантайма описывает руководство по запуску ИИ-агента 24/7. Там саму модель сознательно оставили за скобками. Это руководство — недостающая половина.

Сначала защитите сервер — SSH только по ключу, файрвол, не пропускающий ничего лишнего, автоматические обновления безопасности. Чек-лист первого часа займёт около часа, а этот сервер вскоре будет хранить каждый ваш вопрос.

Затем установите сам движок. Ollama — это llama.cpp с реестром моделей, REST API и systemd-юнитом в обёртке, и однострочный установщик настраивает всё три сразу:

apt update && apt install -y curl
curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama --no-pager
ss -ltnp | grep 11434
# → 127.0.0.1:11434 — loopback only. Leave it that way.

Вот эту последнюю строку стоит прочитать дважды. По умолчанию сервис слушает интерфейс loopback, и это абсолютно правильно, а самая частая ошибка следующих десяти минут — выставить OLLAMA_HOST в 0.0.0.0, потому что что-то на другом сервере не могло достучаться. Шаг 04 — это правильный способ достучаться; версии, в которой порт 11434 смотрит прямо в интернет, не существует.

Две настройки стоит выставить сразу, а не обнаруживать проблему постфактум. По умолчанию модели хранятся в /usr/share/ollama и весят немало, так что направьте это туда, где есть место. А по умолчанию модель остаётся резидентной в RAM пять минут после последнего запроса — это щедро для сервера, который занят ещё и другой работой:

systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

systemctl daemon-reload && systemctl restart ollama

Параллельные запросы и несколько загруженных моделей одинаково умножают расход памяти, а на сервере, рассчитанном ровно на одну модель, лишнего гигабайта под вторую копию просто нет. Сериализация очереди — не ограничение этого железа, а единственная конфигурация, которая не падает.

Это та часть руководства, которая предотвращает неприятности, поэтому скажем прямо, без смягчений: у API Ollama нет ни пароля, ни токена, ни модели пользователей, ни системы разрешений. Всё, что способно открыть TCP-соединение к порту 11434, может генерировать текст на вашем CPU, перечислять скачанные вами модели, скачивать новые и удалять те, которыми вы пользуетесь. Здесь нечего включить, потому что включать попросту нечего.

Порт 11434 сканируют непрерывно — причина очевидна: открытый сервер моделей — это чужие бесплатные вычисления. Симптом — не алерт. Это сервер, который две недели подряд кажется медленным, и график трафика, не совпадающий ни с чем, что вы делали. Держите сервис на loopback и поставьте перед ним что-то, что спрашивает, кто звонит.

Если модель не нужна никому за пределами этого сервера, остановитесь здесь — вы уже закончили. Loopback плюс файрвол — исчерпывающий ответ, а агент, автоматизация или веб-приложение на том же VPS достучатся до модели через 127.0.0.1 без всего, что описано дальше. Продолжайте только если к модели должно обращаться что-то с другого сервера.

Прокси и токен. Сгенерируйте длинный случайный токен, направьте A-запись на сервер и дайте Caddy заняться и сертификатом, и дверью на входе:

openssl rand -hex 32      # → the bearer token, store it in a password manager
apt install -y caddy

/etc/caddy/Caddyfile

llm.example.com {
    @unauthorised not header Authorization "Bearer PASTE_THE_HEX_TOKEN_HERE"
    respond @unauthorised "unauthorised" 401

    reverse_proxy 127.0.0.1:11434 {
        # Generation is slow by nature — do not let the proxy give up first.
        transport http {
            read_timeout 10m
        }
    }
}

systemctl reload caddy
ufw allow 80,443/tcp
ufw status                # 11434 must appear nowhere

В выборе bearer-токена вместо базовой аутентификации есть своё изящество. Ollama отдаёт OpenAI-совместимый API, и каждый клиент OpenAI отправляет свой ключ ровно в этом заголовке, поэтому только что сгенерированный токен становится тем самым API-ключом, который ваши приложения уже умеют передавать. Никакой кастомный заголовок не нужен, а ротация доступа — это одна строка в Caddyfile и одна переменная окружения на стороне вызывающего.

Проверьте с другого сервера, не с этого самого. Первый вызов должен быть отклонён, а второй — получить ответ:

curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
# → 401

curl -s https://llm.example.com/api/tags -H "Authorization: Bearer THE_TOKEN" | jq '.models[].name'
# → the list of models you pulled

Если модель будут вызывать агенты, а не вы сами, вопрос защищённости заслуживает более полного разбора в руководстве по размещению удалённого MCP-сервера — те же рассуждения про TLS, токены и то, что откуда должно быть доступно, только применительно к сервису, который раздаёт инструменты, а не токены.

Ограничьте контекст. Длина контекста — главный регулятор расхода памяти, а значение по умолчанию щедрее, чем нужно небольшому серверу. Задайте его глобально исходя из того, что реально требуется вашему самому длинному промпту, — большинство задач классификации и извлечения комфортно укладываются в четыре тысячи токенов, — а для редких запросов, которым нужно больше, повышайте его точечно:

Environment="OLLAMA_CONTEXT_LENGTH=4096"

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "…a long document…",
  "options": { "num_ctx": 16384 },
  "stream": false
}'

Решите, как долго модель будет оставаться в памяти. Резидентная модель отвечает мгновенно, но держит в заложниках несколько гигабайт памяти. На сервере, выделенном только под инференс, держите её загруженной постоянно; на общем сервере дайте ей выгружаться через некоторое время. Это значение можно задавать и на уровне запроса, так что ночной пакетный процесс может закрепить модель на время своей работы и выгрузить её по завершении:

OLLAMA_KEEP_ALIVE=-1     # resident until the service restarts
OLLAMA_KEEP_ALIVE=30m    # a sensible default on a shared box
OLLAMA_KEEP_ALIVE=0      # unload immediately after each request

ollama ps                # what is resident right now, and how much it holds

Сериализуйте очередь. Два одновременных запроса к одной модели не выполняются вдвое быстрее; они конкурируют за один и тот же насыщенный канал памяти, и каждый становится медленнее, а если Ollama решит загрузить вторую копию, чтобы их обслужить, серверу не хватит RAM. На таком классе железа один запрос за раз, с очередью перед ним, — это одновременно и самая быстрая, и единственная безопасная конфигурация, поэтому ещё на шаге 02 OLLAMA_NUM_PARALLEL и OLLAMA_MAX_LOADED_MODELS зафиксировали в единицу.

Следите за диском. Сравнение четырёх моделей оставляет после себя четыре модели, а при пяти гигабайтах на каждую диск незаметно заполняется, пока никто не жалуется. Сделайте очистку частью самого сравнения, а не задачей на потом:

ollama list
du -sh /var/lib/ollama/models
ollama rm mistral:7b qwen2.5:14b

И наконец, делайте резервные копии того, что невоспроизводимо. Веса модели к этому не относятся — их вернёт обычный pull. А вот что действительно стоит хранить в репозитории — это конфигурация, Caddyfile, токен, промпты, которые вы дорабатывали три недели, и, если вы его построили, векторный индекс для поиска. Руководство по зашифрованным резервным копиям описывает механику; список того, что нужно включить для этого сервера, короткий, и его стоит записать.

Люди рассуждают о приватности моделей так, будто риск кроется в выводе. Это не так. Вывод — типовой текст; тысяча других людей получили что-то похожее. Уличающий артефакт — это ввод, а год вводов складывается в на редкость полный портрет организации.

Подумайте, что на самом деле содержит журнал запросов. Договор, который вы вставили, чтобы получить его краткое содержание. Письмо клиента, которое вы попросили классифицировать, — вместе с самим клиентом. Медицинское заключение, цифру зарплаты, заявление об увольнении, которое вы черновили, код из непубличного репозитория. А вокруг всего этого — метаданные: какие вопросы, в каком порядке, в какой час, с какого адреса, на протяжении скольких месяцев. Никто не подписывает документ со словами «вот наша стратегия» — но последовательность вопросов и есть этот документ, честно собранный вами самими, запрос за запросом.

Уровень первый — что хранит сам эндпоинт. Серьёзные провайдеры публикуют серьёзные политики, и добросовестные из них действительно не обучаются на трафике бизнес-API. Но это не то же самое, что обещание не хранить его. Запросы обычно хранятся какое-то время для контроля злоупотреблений, доступны сотрудникам при определённых условиях и могут быть предоставлены по судебному запросу — именно так и должна работать крупная платформа, и именно поэтому это неподходящее место для текста, который вы не отправили бы по почте незнакомцу. У модели на вашем собственном сервере такого лога нет, если вы сами его не заведёте.

Уровень второй — личность, к которой привязан лог. Само по себе хранение — лишь половина риска. Вторая половина — это ключ, к которому оно привязано: аккаунт, название компании, платёжный адрес, карта. Именно эта связка превращает «кто-то спрашивал про поглощение конкурента» в «эта компания спрашивала, в тот самый вторник». Убрать облачную модель из уравнения — убрать хранение; убрать личность с сервера — убрать связку. VPS, открытый без email и документа, удостоверяющего личность, в скандинавской юрисдикции, оплаченный в Monero, — вторая половина того же самого решения.

Уровень третий — логи, которые пишете вы сами. Самостоятельный хостинг не убирает риск, а переносит его, и стоит трезво понимать, куда именно. Ваше приложение, скорее всего, логирует собственные промпты. Обратный прокси логирует каждую строку запроса. Отладочная сессия двухмесячной давности оставила подробный вывод в журнале. Сама модель между вызовами не хранит ничего, а вот окружающая её инфраструктура может хранить всё — поэтому осознанно решите, что именно записывается, задайте срок хранения и держите этот лог по тем же стандартам, которые вы не были готовы принять от кого-то другого.

Ничто из этого само по себе не делает локальную модель гарантией приватности. Но это единственная архитектура, где эту гарантию даёте вы сами: текст остаётся на арендованном вами железе, под выбранной вами юрисдикцией, за токеном, который выпустили вы, и ни перед кем больше не отчитывается.