VPS'te kendi LLM'ini barındırın.
GPU yok. API anahtarı yok. Hiçbir prompt binadan çıkmaz.

Bu bölümün dürüst hâli, hevesli bir hâlinden daha değerlidir; çünkü kendi barındırdığınız bir modelden vazgeçmenin en hızlı yolu, onu en kötü olduğu bir işe yöneltip tüm fikrin saçma olduğu sonucuna varmaktır.

Rahatça sığar. Çıktının kısa olduğu ve değerin düzyazıda değil değerlendirmede yattığı her şey. Bir mesajı birkaç kategoriden birine sınıflandırmak. Bir destek talebinin acil olup olmadığına karar vermek. Bir faturadan beş alanı JSON olarak çıkarmak. Bir konuşma dizisini üç cümleye özetlemek. Bir belgeyi etiketlemek. Bir ürün açıklamasını yeniden yazmak. Kısa bir metni çevirmek. İki kaydın aynı kişiyi tanımlayıp tanımlamadığını tespit etmek. Bir paragraf başka bir yere gitmeden önce içindeki isimleri karartmak. Bunların her biri uzun bir girdi tüketir ve kısa bir çıktı üretir — bu tam olarak bir CPU'nun iyi başa çıktığı asimetridir.

Sabırla sığar. Kimsenin beklemediği iş. Gece boyu toplu işler, kuyruk işçileri, günün belgeleri üzerinden gece geçişi, zamanlanmış bir rapor. Hiçbir şey yanıtı beklemiyorsa, bir sohbet penceresinde katlanılmaz olacak bir token hızı hiç önemli olmaktan çıkar — sabahın üçünde altı dakika süren bir iş, sadece çalışmış bir iştir.

Sığmıyor. İnsanların gerçekten kullanmaktan keyif alacağı etkileşimli bir asistan: bu hızlarda imleç sürünür ve deneyim asistansız olmaktan daha kötüdür. Tüm çıktının yavaş kısım olduğu uzun metin üretimi — bana iki bin kelime yaz. Hem bağlamın hem kalite çıtasının küçük bir modelin kaldırabileceğini aştığı, büyük bir depo üzerinde yineleme yapan kodlama ajanları. Tek başına önbelleğin makineyi aştığı, yüz bin token'lık bağlam gerektiren her şey. Ve tamamen farklı bir disiplin olan ve gerçekten bir GPU isteyen görüntü veya video modelleri.

İş yükünüz o son grupta yer alıyorsa, akıllıca cevap daha büyük bir CPU sunucusu almak değil, hibrit bir yaklaşımdır. Çağrıların büyük kısmı için yerel bir model tutun ve öncü akıl yürütme gerektiren azınlığı barındırılan bir API'ye yönlendirin — bu tam olarak bir yapay zeka ajanını 7/24 çalıştırma kılavuzunun çalışma zamanı tarafı için tarif ettiği şekildir. O kılavuz, modelin kendisini bilinçli olarak kapsam dışı bırakmıştı. Bu kılavuz ise eksik yarısıdır.

Önce makineyi güçlendirin — yalnızca anahtarla SSH, istemediğiniz hiçbir şeye izin vermeyen bir güvenlik duvarı, otomatik güvenlik güncellemeleri. İlk saat kontrol listesi yaklaşık bir saat sürer ve bu, kısa süre sonra sorduğunuz her soruyu barındıracak bir sunucudur.

Ardından çalıştırıcıyı kurun. Ollama, etrafına bir model kayıt defteri, bir REST API ve bir systemd birimi sarılmış llama.cpp'dir ve tek satırlık kurulum betiği üçünü de kurar:

apt update && apt install -y curl
curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama --no-pager
ss -ltnp | grep 11434
# → 127.0.0.1:11434 — loopback only. Leave it that way.

O son satır iki kez okunmaya değer. Kutudan çıktığı hâliyle servis loopback arayüzünde dinler, ki bu tam olarak doğrudur; sonraki on dakikada yapılan en yaygın hata, başka bir makinedeki bir şey ona ulaşamadığı için OLLAMA_HOST'u 0.0.0.0 olarak ayarlamaktır. 04. adım ona doğru şekilde nasıl ulaşılacağını anlatır; bunun 11434 portunun doğrudan internete baktığı bir versiyonu yoktur.

Sonradan keşfetmek yerine şimdi ayarlanmaya değer iki ayar var. Modeller varsayılan olarak /usr/share/ollama altında saklanır ve büyüktürler, bu yüzden bunu yerinizin olduğu bir yere yönlendirin. Ve varsayılan ayar, son istekten sonra bir modeli beş dakika boyunca RAM'de tutar — bu, başka işler de yapan bir sunucuda cömert bir süredir:

systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"

systemctl daemon-reload && systemctl restart ollama

Paralel istekler ve birden fazla yüklü model, bellek kullanımını katlar; tam olarak bir modeli barındıracak şekilde boyutlandırılmış bir makinede ikinci bir kopya için yedek gigabayt yoktur. Kuyruğu sıralı hâle getirmek bu donanımda bir kısıtlama değildir; çökmeyen tek yapılandırmadır.

Bu, kılavuzun kötü bir şeyin olmasını engelleyen kısmı, bu yüzden çekinmeden söylenir: Ollama API'sinin parolası, token'ı, kullanıcı modeli veya izin sistemi yoktur. 11434 portuna TCP bağlantısı açabilen her şey CPU'nuzda metin üretebilir, indirdiğiniz modelleri listeleyebilir, yenilerini indirebilir ve kullandıklarınızı silebilir. Açılacak bir ayar yoktur, çünkü açılacak bir mekanizma yoktur.

11434 portu sürekli olarak taranır, bunun bariz bir nedeni vardır: açık bir model çalıştırıcısı, başkasına ait bedava işlem gücüdür. Belirti bir uyarı değildir. İki hafta boyunca yavaş hissettiren bir makine ve yaptığınız hiçbir şeyle örtüşmeyen bir bant genişliği grafiğidir. Servisi loopback'te tutun ve önüne kimin aradığını soran bir şey koyun.

Bu makinenin dışında hiçbir şey modele ihtiyaç duymuyorsa burada durun — zaten bitirdiniz. Loopback artı bir güvenlik duvarı eksiksiz bir yanıttır ve aynı VPS üzerinde çalışan bir ajan, bir otomasyon yığını veya bir web uygulaması, aşağıdakilerin hiçbirine gerek kalmadan modele 127.0.0.1 üzerinden ulaşır. Yalnızca başka bir makinedeki bir şeyin onu çağırması gerekiyorsa devam edin.

Proxy, ve token. Uzun rastgele bir token oluşturun, bir A kaydını sunucuya yönlendirin ve hem sertifikayı hem de kapıyı Caddy'nin halletmesine izin verin:

openssl rand -hex 32      # → the bearer token, store it in a password manager
apt install -y caddy

/etc/caddy/Caddyfile

llm.example.com {
    @unauthorised not header Authorization "Bearer PASTE_THE_HEX_TOKEN_HERE"
    respond @unauthorised "unauthorised" 401

    reverse_proxy 127.0.0.1:11434 {
        # Generation is slow by nature — do not let the proxy give up first.
        transport http {
            read_timeout 10m
        }
    }
}

systemctl reload caddy
ufw allow 80,443/tcp
ufw status                # 11434 must appear nowhere

Temel kimlik doğrulama yerine bir bearer token seçmenin ufak bir zarafeti var. Ollama, OpenAI uyumlu bir API sunar, her OpenAI istemcisi anahtarını tam olarak o başlıkla gönderir, böylece az önce oluşturduğunuz token, uygulamalarınızın zaten taşımayı bildiği API anahtarı hâline gelir. Hiçbir şeyin özel bir başlığa ihtiyacı yoktur ve erişimi döndürmek Caddyfile'da bir satır ve çağıran tarafta bir ortam değişkenidir.

Sunucu olmayan bir makineden doğrulayın. İlk çağrı reddedilmeli, ikincisi yanıt vermelidir:

curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
# → 401

curl -s https://llm.example.com/api/tags -H "Authorization: Bearer THE_TOKEN" | jq '.models[].name'
# → the list of models you pulled

Model sizin yerinize ajanlar tarafından çağrılacaksa, maruziyet sorusu uzak bir MCP sunucusu barındırma kılavuzunda daha kapsamlı ele alınmayı hak ediyor — TLS, token'lar ve nereden nereye erişilebilir olması gerektiği konusundaki aynı mantık, token yerine araç veren bir hizmete uygulanmış hâliyle.

Bağlamı sınırlayın. Bağlam uzunluğu, bellek kullanımının ana kadranıdır ve varsayılan değer küçük bir sunucunun istediğinden daha cömerttir. Bunu, en uzun gerçekçi prompt'unuzun gerçekte ihtiyaç duyduğu değere global olarak ayarlayın — çoğu sınıflandırma ve çıkarma işi dört bin token içinde rahattır — ve daha fazlasına ihtiyaç duyan nadir bir çağrıda istek başına yükseltin:

Environment="OLLAMA_CONTEXT_LENGTH=4096"

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "…a long document…",
  "options": { "num_ctx": 16384 },
  "stream": false
}'

Modelin bellekte ne kadar süre kalacağına karar verin. Bellekte yüklü bir model anında çağrılır ve birkaç gigabaytı rehin tutar. Yalnızca çıkarım için ayrılmış bir makinede sonsuza dek yüklü tutun; paylaşılan bir makinede ise bir süre sonra bellekten düşmesine izin verin. Bu değer istek başına da ayarlanabilir, böylece gece çalışan bir toplu iş modeli çalışması boyunca sabitleyip sonunda serbest bırakabilir:

OLLAMA_KEEP_ALIVE=-1     # resident until the service restarts
OLLAMA_KEEP_ALIVE=30m    # a sensible default on a shared box
OLLAMA_KEEP_ALIVE=0      # unload immediately after each request

ollama ps                # what is resident right now, and how much it holds

Kuyruğu sıralı hâle getirin. Tek bir modele karşı eşzamanlı iki istek iki kat hızlı gitmez; aynı doymuş bellek yolu için yarışırlar ve her biri yavaşlar, Ollama onları karşılamak için ikinci bir kopya yüklemeye karar verirse sunucunun RAM'i biter. Bu sınıf donanımda, önünde bir kuyruk olan, tek seferde bir istek, hem en hızlı hem de tek güvenli yapılandırmadır — OLLAMA_NUM_PARALLEL ve OLLAMA_MAX_LOADED_MODELS'in 02. adımda bire sabitlenmesinin nedeni budur.

Diski izleyin. Dört modeli karşılaştırmak geriye dört model bırakır ve her biri beş gigabayt olduğunda bu, hiçbir şey şikayet etmezken sessizce dolan bir disk demektir. Temizliği sonraya bırakılacak bir görev değil, karşılaştırmanın bir parçası yapın:

ollama list
du -sh /var/lib/ollama/models
ollama rm mistral:7b qwen2.5:14b

Son olarak, yeniden üretilemeyen şeyi yedekleyin. Model ağırlıkları buna dahil değil — bir indirme onları geri getirir. Bir depoya değer olan şey; yapılandırma, Caddyfile, token, üç hafta boyunca inceltiğiniz promptlar ve eğer oluşturduysanız retrieval'ınızın arkasındaki vektör indeksidir. Şifreli yedekleme kılavuzu mekaniği anlatır; bu sunucu için dahil edilecek liste kısadır ve yazmaya değer.

İnsanlar model gizliliği hakkında sanki risk çıktıdaymış gibi düşünüyor. Değil. Çıktı jenerik bir metindir; binlerce başka insan da benzer bir şey almıştır. Açığa çıkarıcı olan artefakt girdidir — ve bir yıllık girdiler bir kuruluşun oldukça eksiksiz bir portresidir.

Bir istek kaydının gerçekte ne içerdiğini düşünün. Özetlenmesi için yapıştırdığınız sözleşme. İçinde müşterinin de yer aldığı, sınıflandırılmasını istediğiniz müşteri e-postası. Tıbbi mektup, maaş rakamı, taslağını hazırladığınız istifa dilekçesi, herkese açık olmayan bir depodan gelen kod. Sonra da etrafındaki meta veri: hangi sorular, hangi sırayla, hangi saatte, hangi adresten, kaç ay boyunca. Kimse "işte stratejimiz" yazan bir belge imzalamaz — ama soruların sırası, sizin tarafınızdan, dürüstçe, tek seferde bir çağrı ile derlenen o belgenin ta kendisidir.

Birinci katman — uç noktanın tuttuğu şey. Ciddi sağlayıcılar ciddi politikalar yayımlar ve iyi olanlar iş API trafiği üzerinde gerçekten eğitim yapmaz. Bu, kaydetmemekle aynı vaat değildir. İstekler tipik olarak kötüye kullanım izlemesi için bir süre saklanır, tanımlı koşullar altında personel tarafından erişilebilirdir ve yasal süreç kapsamında ibraz edilebilir — bu, büyük bir platformu işletmenin tam olarak doğru yolu ve bir yabancıya e-postayla göndermeyeceğiniz bir metin için tam olarak yanlış yerdir. Kendi makinenizdeki bir model, siz bir tane yazmadıkça böyle bir kayıt tutmaz.

İkinci katman — kaydın eşleştiği kimlik. Tek başına saklama, maruziyetin yalnızca yarısıdır. Diğer yarısı eşleştiği anahtardır: bir hesap, bir şirket adı, bir fatura adresi, bir kart. Bu eşleşme, "birisi bir rakibi satın almak hakkında soru sordu"yu "bu şirket, o salı günü sordu"ya dönüştüren şeydir. Modeli denklemden çıkarmak saklamayı kaldırır; kimliği makineden çıkarmak eşleşmeyi kaldırır. E-posta adresi veya kimlik belgesi olmadan, Nordic bir yargı bölgesinde açılmış, Monero ile ödenmiş bir VPS, aynı hamlenin diğer yarısıdır.

Üçüncü katman — kendi yazdığınız kayıtlar. Kendi kendine barındırma riski silmek yerine taşır, ve bunun nereye düştüğü konusunda net görüşlü olmakta fayda var. Uygulamanız muhtemelen kendi prompt'larını kaydediyor. Ters proxy'niz her istek satırını kaydediyor. İki ay önceki bir hata ayıklama oturumu, journal'da ayrıntılı çıktı bırakmış olabilir. Modelin kendisi çağrılar arasında hiçbir şey tutmaz, ama etrafındaki makine her şeyi tutabilir — bu yüzden neyin kaydedileceğine bilinçli olarak karar verin, üzerine bir saklama süresi koyun ve o kaydı, başkasından kabul etmeye yanaşmayacağınız standarda tutun.

Bunların hiçbiri, yerel bir modeli tek başına bir gizlilik garantisi yapmaz. Onu, garantiyi vermenin size ait olduğu tek mimari yapar: metin, kiraladığınız donanımda, seçtiğiniz bir yargı bölgesinde, verdiğiniz bir token'ın arkasında kalır ve başka hiçbir şeye hesap vermez.