Self-host LLM di VPS.
Tanpa GPU. Tanpa API key. Tidak ada prompt yang pernah keluar dari server Anda.

Versi jujur dari bagian ini lebih berharga daripada versi yang penuh semangat, karena cara tercepat untuk meninggalkan model self-hosted adalah mengarahkannya ke satu pekerjaan yang paling buruk dikerjakannya, lalu menyimpulkan bahwa seluruh idenya konyol.

Muat dengan nyaman. Apa pun yang output-nya singkat dan nilainya terletak pada penilaian, bukan pada prosa. Mengklasifikasikan sebuah pesan ke salah satu dari beberapa kategori. Memutuskan apakah sebuah tiket dukungan bersifat mendesak. Mengekstraksi lima field dari sebuah faktur menjadi JSON. Meringkas satu thread menjadi tiga kalimat. Memberi tag pada sebuah dokumen. Menulis ulang deskripsi produk. Menerjemahkan string pendek. Mendeteksi apakah dua catatan menggambarkan orang yang sama. Menyamarkan nama dari sebuah paragraf sebelum dikirim ke tempat lain. Semua itu mengonsumsi input yang panjang dan menghasilkan output yang pendek — persis asimetri yang ditangani CPU dengan baik.

Muat, dengan sedikit kesabaran. Pekerjaan yang tidak ditunggu oleh manusia. Batch semalaman, queue worker, proses malam hari atas dokumen sepanjang hari, laporan terjadwal. Jika tidak ada yang menunggu jawabannya, token rate yang tidak tertahankan di jendela chat jadi sama sekali tidak penting — pekerjaan yang berjalan enam menit pukul tiga pagi cuma sekadar pekerjaan yang selesai dijalankan.

Tidak muat. Asisten interaktif yang benar-benar nyaman dipakai orang: pada kecepatan seperti ini kursornya merayap dan pengalamannya lebih buruk daripada tidak punya asisten sama sekali. Generasi teks panjang — tuliskan dua ribu kata untuk saya — di mana seluruh output-nya adalah bagian yang lambat. Agen coding yang berulang kali menelusuri repositori besar, di mana konteks maupun standar kualitasnya melampaui kemampuan model kecil. Apa pun yang butuh konteks seratus ribu token, di mana cache-nya saja sudah melebihi kapasitas mesin. Dan model gambar atau video, yang merupakan disiplin yang sama sekali berbeda dan memang betul-betul butuh GPU.

Jika beban kerja Anda masuk ke kelompok terakhir itu, jawaban yang masuk akal bukan membeli mesin CPU yang lebih besar — melainkan pendekatan hybrid. Pertahankan model lokal untuk sebagian besar panggilan, dan arahkan sebagian kecil yang butuh penalaran frontier ke API hosted — persis bentuk yang dijelaskan panduan menjalankan agen AI 24/7 untuk sisi runtime-nya. Panduan itu sengaja tidak membahas modelnya sendiri. Panduan ini adalah separuh yang hilang itu.

Perkeras mesinnya dulu — SSH khusus kunci, firewall yang tidak mengizinkan apa pun yang tidak Anda minta, pembaruan keamanan otomatis tanpa pengawasan. Checklist jam pertama memakan waktu sekitar satu jam, dan ini adalah mesin yang sebentar lagi akan menyimpan setiap pertanyaan yang Anda ajukan padanya.

Lalu instal runner-nya. Ollama adalah llama.cpp yang dibungkus model registry, REST API, dan unit systemd, dan installer satu baris ini menyiapkan ketiganya sekaligus:

apt update && apt install -y curl
curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama --no-pager
ss -ltnp | grep 11434
# → 127.0.0.1:11434 — loopback only. Leave it that way.

Baris terakhir itu layak dibaca dua kali. Secara default layanannya mendengarkan di interface loopback, dan itu memang sudah benar — kesalahan paling umum yang terjadi sepuluh menit berikutnya adalah mengatur OLLAMA_HOST ke 0.0.0.0 karena ada sesuatu di mesin lain yang tidak bisa menjangkaunya. Langkah 04 adalah cara menjangkaunya dengan benar; tidak ada versi di mana port 11434 menghadap langsung ke internet.

Ada dua pengaturan yang layak Anda tetapkan sekarang, bukan ditemukan belakangan. Secara default model disimpan di /usr/share/ollama dan ukurannya besar, jadi arahkan itu ke mana pun Anda punya ruang. Dan secara default model tetap resident di RAM selama lima menit setelah permintaan terakhir, yang cukup longgar untuk mesin yang juga mengerjakan hal lain:

systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

systemctl daemon-reload && systemctl restart ollama

Permintaan paralel dan banyak model yang termuat sekaligus sama-sama melipatgandakan pemakaian memori, dan pada mesin yang ukurannya pas untuk satu model saja, tidak ada gigabyte tersisa untuk salinan kedua. Menyerialkan antreannya bukan keterbatasan pada perangkat keras ini; itu adalah satu-satunya konfigurasi yang tidak akan ambruk.

Ini adalah bagian dari panduan yang mencegah sesuatu yang buruk terjadi, jadi ini disampaikan tanpa basa-basi: API Ollama tidak punya kata sandi, tidak punya token, tidak punya model pengguna, dan tidak punya sistem izin. Apa pun yang bisa membuka koneksi TCP ke port 11434 bisa menghasilkan teks di CPU Anda, mendaftar model yang sudah Anda tarik, menarik model baru, dan menghapus yang sedang Anda pakai. Tidak ada pengaturan yang bisa diaktifkan, karena memang tidak ada mekanismenya untuk diaktifkan.

Port 11434 dipindai terus-menerus, dengan alasan yang jelas: model runner yang terbuka adalah komputasi gratis milik orang lain. Gejalanya bukan sebuah alert. Gejalanya adalah mesin yang terasa lambat selama dua minggu dan grafik bandwidth yang tidak cocok dengan apa pun yang Anda lakukan. Jaga layanan itu tetap di loopback, dan pasang sesuatu di depannya yang menanyakan siapa yang memanggil.

Jika tidak ada yang di luar mesin ini butuh model tersebut, berhenti di sini — Anda sudah selesai. Loopback ditambah firewall adalah jawaban yang lengkap, dan agen, stack otomasi, atau aplikasi web yang berjalan di VPS yang sama bisa menjangkau model itu lewat 127.0.0.1 tanpa perlu apa pun di bawah ini. Lanjutkan hanya jika ada sesuatu di mesin lain yang harus memanggilnya.

Proxy-nya, dan token-nya. Buat token acak yang panjang, arahkan A record ke mesinnya, dan biarkan Caddy yang mengurus sertifikat sekaligus pintu masuknya:

openssl rand -hex 32      # → the bearer token, store it in a password manager
apt install -y caddy

/etc/caddy/Caddyfile

llm.example.com {
    @unauthorised not header Authorization "Bearer PASTE_THE_HEX_TOKEN_HERE"
    respond @unauthorised "unauthorised" 401

    reverse_proxy 127.0.0.1:11434 {
        # Generation is slow by nature — do not let the proxy give up first.
        transport http {
            read_timeout 10m
        }
    }
}

systemctl reload caddy
ufw allow 80,443/tcp
ufw status                # 11434 must appear nowhere

Ada keanggunan tersendiri dalam memilih token bearer alih-alih basic authentication. Ollama mengekspos API yang kompatibel dengan OpenAI, setiap klien OpenAI mengirim key-nya persis lewat header itu, sehingga token yang baru saja Anda buat langsung menjadi API key yang sudah dikenal aplikasi Anda cara membawanya. Tidak perlu header khusus, dan merotasi akses cukup satu baris di Caddyfile dan satu variabel lingkungan di sisi pemanggil.

Verifikasi dari mesin yang bukan server itu sendiri. Panggilan pertama seharusnya ditolak, dan yang kedua seharusnya menjawab:

curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
# → 401

curl -s https://llm.example.com/api/tags -H "Authorization: Bearer THE_TOKEN" | jq '.models[].name'
# → the list of models you pulled

Jika model itu akan dipanggil oleh agen, bukan oleh Anda sendiri, urusan eksposurnya butuh pembahasan yang lebih lengkap di panduan hosting server MCP jarak jauh — penalaran yang sama soal TLS, token, dan apa yang seharusnya bisa dijangkau dari mana, diterapkan pada layanan yang menyerahkan tools alih-alih token.

Batasi konteksnya. Panjang konteks adalah kenop utama pemakaian memori, dan nilai default-nya lebih longgar daripada yang diinginkan mesin kecil. Atur secara global sesuai kebutuhan prompt terpanjang yang realistis — sebagian besar pekerjaan klasifikasi dan ekstraksi nyaman dilakukan dalam empat ribu token — dan naikkan per permintaan hanya pada panggilan langka yang benar-benar butuh lebih:

Environment="OLLAMA_CONTEXT_LENGTH=4096"

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "…a long document…",
  "options": { "num_ctx": 16384 },
  "stream": false
}'

Tentukan berapa lama model tetap berada di memori. Model yang resident bisa langsung dipanggil, tapi menyandera beberapa gigabyte memori. Di mesin yang didedikasikan untuk inferensi, biarkan tetap termuat selamanya; di mesin bersama, biarkan ia lepas setelah beberapa saat. Nilai ini juga bisa diatur per permintaan, jadi batch malam hari bisa mengunci model itu selama proses berjalan dan melepaskannya di akhir:

OLLAMA_KEEP_ALIVE=-1     # resident until the service restarts
OLLAMA_KEEP_ALIVE=30m    # a sensible default on a shared box
OLLAMA_KEEP_ALIVE=0      # unload immediately after each request

ollama ps                # what is resident right now, and how much it holds

Serialkan antreannya. Dua permintaan yang berjalan bersamaan ke satu model tidak jadi dua kali lebih cepat; keduanya berebut jalur memori yang sama-sama sudah jenuh dan masing-masing malah jadi lebih lambat, dan jika Ollama memutuskan memuat salinan kedua untuk melayani keduanya, mesinnya kehabisan RAM. Pada kelas perangkat keras ini, satu permintaan pada satu waktu dengan antrean di depannya adalah konfigurasi yang paling cepat sekaligus satu-satunya yang aman — itulah sebabnya OLLAMA_NUM_PARALLEL dan OLLAMA_MAX_LOADED_MODELS dikunci ke angka satu sejak langkah 02.

Awasi disk-nya. Membandingkan empat model berarti menyisakan empat model, dan pada lima gigabyte masing-masing, itu adalah disk yang perlahan penuh tanpa ada yang mengeluh. Jadikan pembersihan sebagai bagian dari proses perbandingan, bukan tugas untuk nanti:

ollama list
du -sh /var/lib/ollama/models
ollama rm mistral:7b qwen2.5:14b

Terakhir, cadangkan apa yang tidak bisa direproduksi. Bobot model bukan termasuk itu — cukup pull ulang untuk mendapatkannya kembali. Yang layak masuk repositori adalah konfigurasi, Caddyfile, token, prompt yang Anda sempurnakan selama tiga minggu, dan jika Anda membuatnya, indeks vektor di balik retrieval Anda. Panduan backup terenkripsi membahas mekanismenya; daftar yang perlu disertakan untuk mesin ini pendek dan layak dituliskan.

Orang biasanya berpikir soal privasi model seolah-olah risikonya ada pada output. Padahal tidak. Output-nya adalah teks generik; seribu orang lain bisa mendapatkan sesuatu yang mirip. Artefak yang sebenarnya membongkar rahasia adalah input-nya — dan setahun input adalah potret yang luar biasa lengkap tentang sebuah organisasi.

Pikirkan apa yang sebenarnya tersimpan dalam log permintaan. Kontrak yang Anda tempelkan untuk diringkas. Email pelanggan yang Anda minta diklasifikasikan, lengkap dengan identitas pelanggannya. Surat medis, angka gaji, surat pengunduran diri yang sedang Anda susun, kode dari repositori yang tidak publik. Lalu metadata di sekelilingnya: pertanyaan apa saja, dalam urutan apa, jam berapa, dari alamat mana, sepanjang berapa bulan. Tidak ada orang yang menandatangani dokumen bertuliskan «ini strategi kami» — tapi urutan pertanyaan itulah dokumennya, tersusun dengan jujur, oleh Anda sendiri, satu panggilan pada satu waktu.

Lapisan satu — apa yang disimpan endpoint-nya. Penyedia layanan yang serius menerbitkan kebijakan yang serius, dan yang bagus benar-benar tidak melatih model dari trafik API bisnis. Tapi itu bukan janji yang sama dengan tidak menyimpannya. Permintaan biasanya disimpan untuk jangka waktu tertentu demi pemantauan penyalahgunaan, bisa diakses staf dalam kondisi tertentu, dan bisa diminta lewat proses hukum — yang justru cara yang tepat untuk menjalankan platform besar, dan justru tempat yang salah untuk teks yang tidak akan Anda kirim lewat email ke orang asing. Model di mesin Anda sendiri tidak punya log semacam itu, kecuali Anda yang membuatnya.

Lapisan dua — identitas yang dikaitkan dengan log itu. Retensi saja hanya separuh dari eksposurnya. Separuh lainnya adalah kunci yang menghubungkannya: sebuah akun, nama perusahaan, alamat penagihan, sebuah kartu. Koneksi itulah yang mengubah «seseorang bertanya soal mengakuisisi kompetitor» menjadi «perusahaan ini yang bertanya, pada hari Selasa itu». Menghilangkan model dari persamaan menghilangkan retensinya; menghilangkan identitas dari mesinnya menghilangkan koneksinya. VPS yang dibuka tanpa alamat email atau dokumen identitas, di yurisdiksi Nordic, dibayar dengan Monero, adalah separuh kedua dari langkah yang sama.

Lapisan tiga — log yang Anda tulis sendiri. Self-hosting memindahkan risikonya, bukan menghapusnya, dan ada baiknya jelas soal ke mana risiko itu berpindah. Aplikasi Anda mungkin mencatat prompt-nya sendiri. Reverse proxy Anda mencatat setiap baris permintaan. Sesi debugging dua bulan lalu meninggalkan output verbose di journal. Modelnya sendiri tidak menyimpan apa pun di antara panggilan, tapi perangkat di sekelilingnya bisa menyimpan segalanya — jadi putuskan dengan sengaja apa yang dicatat, tetapkan masa retensinya, dan pegang log itu pada standar yang tidak mau Anda terima dari pihak lain.

Semua itu tidak membuat model lokal otomatis menjadi jaminan privasi dengan sendirinya. Yang terjadi adalah, inilah satu-satunya arsitektur di mana jaminan itu ada di tangan Anda untuk diberikan: teksnya tetap berada di perangkat keras yang Anda sewa, di bawah yurisdiksi yang Anda pilih, di balik token yang Anda terbitkan sendiri, dan tidak bertanggung jawab kepada siapa pun selain itu.