Vil du lade en sprogmodel opsummere referater eller sortere henvendelser, uden at teksterne sendes til en ekstern AI-tjeneste? Så kan en almindelig VPS uden grafikkort bære en lille model. Den bliver hverken lige så hurtig eller lige så klog som de store cloudtjenester, men den kører på din egen server, og du bestemmer selv, hvor data ender.
Guiden viser, hvad der er realistisk med kun CPU, hvordan du dimensionerer serveren, og hvordan du installerer og kører en model med Ollama på Ubuntu 24.04 LTS. Til sidst holder vi modellens API lukket for omverdenen og bruger den alligevel fra din egen computer.
Hvad en VPS uden GPU kan klare
Uden grafikkort regnes alt på processoren. Det giver tre rammer:
- Små, kvantiserede modeller. Modeller fra under 1 til omkring 7 mia. parametre i en komprimeret udgave er det realistiske område.
- Langsommere svar. Svaret kommer mærkbart langsommere end hos de store tjenester. Det er fint, når du kan vente lidt.
- Få samtidige brugere. Ollama behandler som standard én forespørgsel ad gangen pr. model, og resten venter i kø.
Til gengæld rækker en lille model til opsummeringer, sortering af e-mails efter emne, udtræk af navne og datoer eller en lille assistent for bestyrelsen. Skal mange bruge den samtidig, eller skal svarene matche de bedste modeller, er en VPS uden GPU det forkerte værktøj.
Hvorfor køre modellen selv
For en forening, en freelancer eller en lille virksomhed handler det om kontrol over data. Kundetekster, medlemsoplysninger og interne dokumenter forlader ikke serveren, og ingen tredjepart behandler dem for dig.
Det fritager dig ikke fra GDPR. Afsnittet her er generel information og ikke juridisk rådgivning. Behandler modellen personoplysninger, gælder de samme regler som for andre systemer. Det gennemgår vi i VPS og GDPR. Datatilsynet har samlet sit materiale om kunstig intelligens på én side, bl.a. en skabelon til konsekvensanalyse for AI. Tilsynets vejledning til offentlige myndigheder har pointer, der også giver mening for andre: reglerne gælder uanset teknologien, pseudonymiserede data bør være udgangspunktet, og et AI-projekt kræver normalt en konsekvensanalyse.
EU’s AI-forordning stiller ingen særlige krav til AI med minimal risiko, men artikel 4 kræver, at den, der tager et AI-system i brug, sørger for, at medarbejderne får et passende kendskab til AI. For en lille virksomhed kan det fx betyde, at brugerne ved, hvad modellen kan, og hvor den tager fejl.
Det skal du bruge
- En VPS med Ubuntu 24.04 LTS og nok RAM og disk til din model (se næste afsnit).
- En bruger med
sudoog login med SSH-nøgle. Er serveren ny, så start med Kom i gang med VPS. - En firewall, der kun tillader det nødvendige, typisk SSH. Se firewall med UFW.
- Et snapshot eller en backup af din VPS, før du installerer noget.
Sådan dimensionerer du serveren
RAM er den vigtigste grænse
Modellen skal ligge i hukommelsen, mens den svarer. Den fylder mindre, fordi den er kvantiseret: vægtene gemmes med lavere præcision, fx som 4-bit heltal i stedet for 32-bit kommatal. Tallet i et tag som q4 eller q8 angiver cirka, hvor mange bit hver vægt fylder, og fp16 er den ukomprimerede 16-bit udgave. llama3.2:3b fylder 2,0 GB i standardudgaven q4_K_M, 3,4 GB som q8_0 og 6,4 GB som fp16.
Sådan fylder nogle små modeller i Ollamas bibliotek i deres standardudgave:
| Model | Download |
|---|---|
qwen2.5:0.5b |
0,4 GB |
gemma3:1b |
806 MB |
llama3.2:1b |
1,3 GB |
llama3.2:3b |
2,0 GB |
gemma3:4b |
3,4 GB |
qwen2.5:7b |
4,7 GB |
gemma3:12b |
8,2 GB |
qwen2.5:14b |
9,0 GB |
Tommelfingerreglen er, at filens størrelse svarer nogenlunde til den RAM, vægtene kræver. Oveni kommer plads til samtalens kontekst og til styresystemet. Konteksten vokser med antallet af samtidige forespørgsler gange kontekstlængden.
Regneeksempel (ikke en måling): llama3.2:3b på 2,0 GB plus kontekst og styresystem gør 4 GB RAM til et fornuftigt minimum. qwen2.5:7b på 4,7 GB peger mod 8 GB, og qwen2.5:14b på 9,0 GB mod 16 GB.
Ollama beholder en model i hukommelsen i 5 minutter efter sidste forespørgsel og kan på CPU som standard have op til tre modeller indlæst, hvis de kan være der. Skifter du mellem modeller, skal RAM’en kunne rumme dem.
CPU og disk
Flere kerner hjælper, men RAM afgør, hvilken model du kan køre. På en almindelig VPS deler du den fysiske processor med andre kunder, mens dedikerede kerner giver garanteret CPU-kraft til en højere pris. Forskellen er forklaret i Hvad er en vCPU?, og guiden om at vælge den rigtige VPS-størrelse hjælper med resten.
Modellerne gemmes i /usr/share/ollama/.ollama/models. Henter du fx qwen2.5:7b, gemma3:12b og qwen2.5:14b, fylder de tilsammen ca. 22 GB.
Hvilke udbydere passer
Her tæller RAM pr. krone og gerne timeafregning, så du kan teste en modelstørrelse uden binding. Priserne er ekskl. moms ved skrivende stund; den aktuelle pris står i anmeldelsen.
- Contabo giver mest RAM for pengene: 4 vCPU og 8 GB RAM fra 33 kr./md. med 24 måneders binding (ca. 41 kr./md. uden). Ressourcerne er delte, og der er ingen timeafregning.
- Hetzner har 4 GB RAM for ca. 41 kr./md. (5,49 EUR) og 8 GB for ca. 63 kr./md. (8,49 EUR) med timeafregning. Dedikerede kerner findes fra ca. 273 kr./md.
- Hostinger har 4 GB RAM til 40,99 kr./md. med 24 måneders binding, men 89,99 kr./md. ved fornyelse.
- One.com har 4 GB RAM til ca. 47 kr./md. efter den første måned, uden binding.
- UpCloud (København) og Vultr (Stockholm) afregner pr. time og egner sig til at prøve en størrelse af og slette serveren igen, men giver færre GB RAM pr. krone.
Installer Ollama
Tag et snapshot først. Ollamas officielle metode til Linux er et installationsscript. Adressen ollama.com/install.sh sender videre til scriptet i projektets seneste udgivelse på GitHub, så du kan læse, hvad du kører. Scriptet:
- henter Ollama fra ollama.com og pakker det ud under
/usr - opretter systembrugeren
ollamamed hjemmemappe i/usr/share/ollamaog føjer din bruger til gruppenollama - skriver tjenesten
/etc/systemd/system/ollama.service, aktiverer og starter den - installerer drivere, hvis det finder et NVIDIA- eller AMD-grafikkort
Scriptet bruger sudo, hvis du ikke er root, og kræver zstd:
sudo apt-get install zstd
Hent scriptet, læs det, og kør det:
# read the script first, then run it
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh
Ollamas Linux-dokumentation viser samme kommando sendt direkte til sh og beskriver også en manuel installation.
Tjenesten kører som brugeren ollama, ikke som root, og genstarter efter 3 sekunder, hvis den stopper:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=multi-user.target
Hent og kør din første model
Hent en model, chat med den, se, hvad der er installeret og indlæst, og fjern den igen:
ollama pull llama3.2:3b
ollama run llama3.2:3b
ollama ls
ollama ps
ollama stop llama3.2:3b
ollama rm llama3.2:3b
ollama run åbner en chat i terminalen og henter modellen, hvis den mangler. Skriv /bye for at afslutte. ollama ls viser installerede modeller, og ollama ps dem, der ligger i hukommelsen. I kolonnen for processor bør der stå 100% CPU på en VPS uden grafikkort. ollama stop tømmer modellen ud af hukommelsen, og ollama rm sletter den fra disken.
Teksten efter kolon er et tag, der vælger størrelse og kvantisering. llama3.2:3b giver standardudgaven, mens llama3.2:3b-instruct-q8_0 henter 8-bit udgaven. Start med standarden, og gå kun op, hvis kvaliteten ikke rækker, og der er RAM til det.
Brug modellen fra andre programmer
Ollamas HTTP-API svarer på http://localhost:11434. Det er adressen, du giver dine scripts og selvhostede værktøjer på samme server, fx et automatiseringsværktøj, der skal opsummere indkomne formularer:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Why is the sky blue?",
"stream": false
}'
Med "stream": false kommer svaret som ét samlet JSON-svar. Til samtaler med flere beskeder bruger du /api/chat. Denne kommando viser de modeller, API’et kender:
curl http://localhost:11434/api/tags
Hold API’et væk fra internettet
Ollama lytter som standard kun på 127.0.0.1 port 11434, altså på serveren selv. Sådan skal det blive. Adressen ændres med miljøvariablen OLLAMA_HOST, og værdien 0.0.0.0 gør API’et tilgængeligt på netværket. Sæt den ikke, og åbn aldrig port 11434 i firewallen.
Adgang fra din egen computer med en SSH-tunnel
En SSH-tunnel sender trafik fra en port på din computer gennem din eksisterende SSH-forbindelse til port 11434 på serveren. Der skal ikke åbnes nye porte.
-
Kør kommandoen på din egen computer med dit eget brugernavn og din servers IP-adresse:
# run on your own computer; keeps the server's port 11434 closed to the internet ssh -N -L 11434:localhost:11434 din-bruger@203.0.113.10 -
Lad vinduet stå åbent.
-Lopretter tunnelen, og-Nbetyder, at der kun videresendes, uden at der køres en kommando på serveren.localhosti midten slås op på serveren og peger derfor på serverens Ollama. -
Åbn
http://localhost:11434på din egen computer, eller kørcurl-kommandoen med/api/tagsfra før. Svaret kommer fra serveren. -
Afbryd kommandoen eller luk vinduet, når du er færdig. Så er tunnelen væk.
Formatet er lokal-port:vært:port-på-serveren. Kører du også Ollama lokalt, er port 11434 optaget, så vælg et andet lokalt portnummer, fx 11435. Med -f kører tunnelen i baggrunden. Samme metode virker for alle tjenester, der kun lytter på 127.0.0.1.
En webchat oven på modellen
Foretrækker kollegerne en chat i browseren, kan du installere en webbrugerflade til Ollamas API. Kører du den i en container, finder du grundlaget i Docker på VPS. Lad også den lytte på 127.0.0.1 og brug den gennem tunnelen. Skal den kunne nås udefra, så kun bag login og med HTTPS via et SSL-certifikat fra Let’s Encrypt.
Drift: tjeneste, logs og hukommelse
Status, genstart og de seneste logs:
sudo systemctl status ollama
sudo systemctl restart ollama
journalctl -e -u ollama
Genstart helst, når ingen bruger modellen. Indstillinger som OLLAMA_KEEP_ALIVE, der styrer, hvor længe en model bliver i hukommelsen, sætter du i en tilføjelse til tjenesten. Den første kommando åbner en editor, hvor du indsætter de to linjer under # add: uden kommentartegn:
sudo systemctl edit ollama.service
# add:
# [Service]
# Environment="OLLAMA_KEEP_ALIVE=10m"
sudo systemctl daemon-reload
sudo systemctl restart ollama
Den største driftsrisiko er, at hukommelsen slipper op. Så stopper Linux-kernen en proces, og det kan ramme Ollama eller en anden tjeneste. Se, om det er sket, og hvor meget RAM der er fri:
journalctl -k | grep -i -E 'out of memory|oom-kill'
free -h
Finder du sådanne linjer, så vælg en mindre model eller kvantisering, hav færre modeller indlæst, eller opgrader serveren. Sæt også en advarsel om lav hukommelse op, som beskrevet i Overvåg din VPS.
llama.cpp som lettere alternativ
llama.cpp er et open source-projekt, der også kører kvantiserede modeller på CPU. Det kræver flere manuelle valg og kan bygges fra kildekoden. Kommandoer og standarder har ændret sig over tid, så følg projektets dokumentation, og tjek i hjælpeteksten, hvilken adresse og port serveren lytter på. Også her skal den lytte på 127.0.0.1 og bruges via en SSH-tunnel.
Vedligeholdelse
-
Opdater Ollama ved at køre installationsscriptet igen, og læs det igennem igen. Har en ny udgave problemer, kan du installere en bestemt version. Versionsnummeret er kun et eksempel:
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh -
Ryd op i modeller. Se med
ollama ls, hvad der ligger på disken, og fjern det, du ikke bruger, medollama rm. -
Fjern alt. Dokumentationen beskriver en fuld afinstallation. Den sletter
/usr/share/ollamaog dermed alle hentede modeller, så tag en backup først.
Tjek modellens licens
En åben model må ikke nødvendigvis bruges til alt. Læs hver models licens før kommerciel brug. Oversigten her er ikke juridisk rådgivning:
- Qwen 2.5 er under Apache 2.0, undtagen 3b- og 72b-udgaverne, som har Qwens egen licens.
- Llama 3.2 er under Llama 3.2 Community License. Den kræver, at du følger Metas politik for acceptabel brug, angiver “Built with Llama” og vedlægger licensen, hvis du videregiver modellen. Over 700 mio. aktive brugere om måneden kræver en særskilt licens.
- Gemma 3 er under Googles Gemma Terms of Use. Læs vilkårene, som modellens side linker til.
Ofte stillede spørgsmål
Kan en VPS uden grafikkort køre en sprogmodel? Ja, hvis modellen er lille og kvantiseret. Svarene kommer langsommere end fra de store cloudtjenester, og modellen betjener kun få brugere ad gangen.
Hvor meget RAM skal jeg bruge? Modelfilens størrelse plus en buffer til kontekst og styresystem. En model på 2 GB passer til 4 GB RAM, og en på ca. 5 GB til 8 GB.
Må jeg bruge modellen til kundeopgaver? Det afhænger af modellens licens og af, hvilke data du behandler. Læs licensen, og vurder GDPR, hvis der indgår personoplysninger.
Kort fortalt
- Vælg en lille, kvantiseret model, og dimensioner RAM efter modelfilen plus en buffer.
- Test modelstørrelsen på en server med timeafregning, før du binder dig.
- Installer Ollama med det officielle script, når du har læst det.
- Lad API’et lytte på
127.0.0.1, og brug en SSH-tunnel fra din egen computer. - Hold øje med hukommelsen, ryd op i gamle modeller, og tjek hver models licens.