VPS-guiden

Kør din egen AI-model på en VPS - Ollama uden GPU

Sådan kører du en lille sprogmodel privat på en almindelig VPS med Ollama: hvad CPU og RAM kan klare, hvor stor serveren skal være, og hvordan du holder modellen væk fra internettet.

Robert Leal Forfatter Robert Leal | 11. november 2026 | ~10 min læsetid

Vil du lade en sprogmodel opsummere referater eller sortere henvendelser, uden at teksterne sendes til en ekstern AI-tjeneste? Så kan en almindelig VPS uden grafikkort bære en lille model. Den bliver hverken lige så hurtig eller lige så klog som de store cloudtjenester, men den kører på din egen server, og du bestemmer selv, hvor data ender.

Guiden viser, hvad der er realistisk med kun CPU, hvordan du dimensionerer serveren, og hvordan du installerer og kører en model med Ollama på Ubuntu 24.04 LTS. Til sidst holder vi modellens API lukket for omverdenen og bruger den alligevel fra din egen computer.

Hvad en VPS uden GPU kan klare

Uden grafikkort regnes alt på processoren. Det giver tre rammer:

  • Små, kvantiserede modeller. Modeller fra under 1 til omkring 7 mia. parametre i en komprimeret udgave er det realistiske område.
  • Langsommere svar. Svaret kommer mærkbart langsommere end hos de store tjenester. Det er fint, når du kan vente lidt.
  • Få samtidige brugere. Ollama behandler som standard én forespørgsel ad gangen pr. model, og resten venter i kø.

Til gengæld rækker en lille model til opsummeringer, sortering af e-mails efter emne, udtræk af navne og datoer eller en lille assistent for bestyrelsen. Skal mange bruge den samtidig, eller skal svarene matche de bedste modeller, er en VPS uden GPU det forkerte værktøj.

Hvorfor køre modellen selv

For en forening, en freelancer eller en lille virksomhed handler det om kontrol over data. Kundetekster, medlemsoplysninger og interne dokumenter forlader ikke serveren, og ingen tredjepart behandler dem for dig.

Det fritager dig ikke fra GDPR. Afsnittet her er generel information og ikke juridisk rådgivning. Behandler modellen personoplysninger, gælder de samme regler som for andre systemer. Det gennemgår vi i VPS og GDPR. Datatilsynet har samlet sit materiale om kunstig intelligens på én side, bl.a. en skabelon til konsekvensanalyse for AI. Tilsynets vejledning til offentlige myndigheder har pointer, der også giver mening for andre: reglerne gælder uanset teknologien, pseudonymiserede data bør være udgangspunktet, og et AI-projekt kræver normalt en konsekvensanalyse.

EU’s AI-forordning stiller ingen særlige krav til AI med minimal risiko, men artikel 4 kræver, at den, der tager et AI-system i brug, sørger for, at medarbejderne får et passende kendskab til AI. For en lille virksomhed kan det fx betyde, at brugerne ved, hvad modellen kan, og hvor den tager fejl.

Det skal du bruge

  • En VPS med Ubuntu 24.04 LTS og nok RAM og disk til din model (se næste afsnit).
  • En bruger med sudo og login med SSH-nøgle. Er serveren ny, så start med Kom i gang med VPS.
  • En firewall, der kun tillader det nødvendige, typisk SSH. Se firewall med UFW.
  • Et snapshot eller en backup af din VPS, før du installerer noget.

Sådan dimensionerer du serveren

RAM er den vigtigste grænse

Modellen skal ligge i hukommelsen, mens den svarer. Den fylder mindre, fordi den er kvantiseret: vægtene gemmes med lavere præcision, fx som 4-bit heltal i stedet for 32-bit kommatal. Tallet i et tag som q4 eller q8 angiver cirka, hvor mange bit hver vægt fylder, og fp16 er den ukomprimerede 16-bit udgave. llama3.2:3b fylder 2,0 GB i standardudgaven q4_K_M, 3,4 GB som q8_0 og 6,4 GB som fp16.

Sådan fylder nogle små modeller i Ollamas bibliotek i deres standardudgave:

Model Download
qwen2.5:0.5b 0,4 GB
gemma3:1b 806 MB
llama3.2:1b 1,3 GB
llama3.2:3b 2,0 GB
gemma3:4b 3,4 GB
qwen2.5:7b 4,7 GB
gemma3:12b 8,2 GB
qwen2.5:14b 9,0 GB

Tommelfingerreglen er, at filens størrelse svarer nogenlunde til den RAM, vægtene kræver. Oveni kommer plads til samtalens kontekst og til styresystemet. Konteksten vokser med antallet af samtidige forespørgsler gange kontekstlængden.

Regneeksempel (ikke en måling): llama3.2:3b på 2,0 GB plus kontekst og styresystem gør 4 GB RAM til et fornuftigt minimum. qwen2.5:7b på 4,7 GB peger mod 8 GB, og qwen2.5:14b på 9,0 GB mod 16 GB.

Ollama beholder en model i hukommelsen i 5 minutter efter sidste forespørgsel og kan på CPU som standard have op til tre modeller indlæst, hvis de kan være der. Skifter du mellem modeller, skal RAM’en kunne rumme dem.

CPU og disk

Flere kerner hjælper, men RAM afgør, hvilken model du kan køre. På en almindelig VPS deler du den fysiske processor med andre kunder, mens dedikerede kerner giver garanteret CPU-kraft til en højere pris. Forskellen er forklaret i Hvad er en vCPU?, og guiden om at vælge den rigtige VPS-størrelse hjælper med resten.

Modellerne gemmes i /usr/share/ollama/.ollama/models. Henter du fx qwen2.5:7b, gemma3:12b og qwen2.5:14b, fylder de tilsammen ca. 22 GB.

Hvilke udbydere passer

Her tæller RAM pr. krone og gerne timeafregning, så du kan teste en modelstørrelse uden binding. Priserne er ekskl. moms ved skrivende stund; den aktuelle pris står i anmeldelsen.

  • Contabo giver mest RAM for pengene: 4 vCPU og 8 GB RAM fra 33 kr./md. med 24 måneders binding (ca. 41 kr./md. uden). Ressourcerne er delte, og der er ingen timeafregning.
  • Hetzner har 4 GB RAM for ca. 41 kr./md. (5,49 EUR) og 8 GB for ca. 63 kr./md. (8,49 EUR) med timeafregning. Dedikerede kerner findes fra ca. 273 kr./md.
  • Hostinger har 4 GB RAM til 40,99 kr./md. med 24 måneders binding, men 89,99 kr./md. ved fornyelse.
  • One.com har 4 GB RAM til ca. 47 kr./md. efter den første måned, uden binding.
  • UpCloud (København) og Vultr (Stockholm) afregner pr. time og egner sig til at prøve en størrelse af og slette serveren igen, men giver færre GB RAM pr. krone.

Installer Ollama

Tag et snapshot først. Ollamas officielle metode til Linux er et installationsscript. Adressen ollama.com/install.sh sender videre til scriptet i projektets seneste udgivelse på GitHub, så du kan læse, hvad du kører. Scriptet:

  • henter Ollama fra ollama.com og pakker det ud under /usr
  • opretter systembrugeren ollama med hjemmemappe i /usr/share/ollama og føjer din bruger til gruppen ollama
  • skriver tjenesten /etc/systemd/system/ollama.service, aktiverer og starter den
  • installerer drivere, hvis det finder et NVIDIA- eller AMD-grafikkort

Scriptet bruger sudo, hvis du ikke er root, og kræver zstd:

sudo apt-get install zstd

Hent scriptet, læs det, og kør det:

# read the script first, then run it
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Ollamas Linux-dokumentation viser samme kommando sendt direkte til sh og beskriver også en manuel installation.

Tjenesten kører som brugeren ollama, ikke som root, og genstarter efter 3 sekunder, hvis den stopper:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Hent og kør din første model

Hent en model, chat med den, se, hvad der er installeret og indlæst, og fjern den igen:

ollama pull llama3.2:3b
ollama run llama3.2:3b
ollama ls
ollama ps
ollama stop llama3.2:3b
ollama rm llama3.2:3b

ollama run åbner en chat i terminalen og henter modellen, hvis den mangler. Skriv /bye for at afslutte. ollama ls viser installerede modeller, og ollama ps dem, der ligger i hukommelsen. I kolonnen for processor bør der stå 100% CPU på en VPS uden grafikkort. ollama stop tømmer modellen ud af hukommelsen, og ollama rm sletter den fra disken.

Teksten efter kolon er et tag, der vælger størrelse og kvantisering. llama3.2:3b giver standardudgaven, mens llama3.2:3b-instruct-q8_0 henter 8-bit udgaven. Start med standarden, og gå kun op, hvis kvaliteten ikke rækker, og der er RAM til det.

Brug modellen fra andre programmer

Ollamas HTTP-API svarer på http://localhost:11434. Det er adressen, du giver dine scripts og selvhostede værktøjer på samme server, fx et automatiseringsværktøj, der skal opsummere indkomne formularer:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

Med "stream": false kommer svaret som ét samlet JSON-svar. Til samtaler med flere beskeder bruger du /api/chat. Denne kommando viser de modeller, API’et kender:

curl http://localhost:11434/api/tags

Hold API’et væk fra internettet

Ollama lytter som standard kun på 127.0.0.1 port 11434, altså på serveren selv. Sådan skal det blive. Adressen ændres med miljøvariablen OLLAMA_HOST, og værdien 0.0.0.0 gør API’et tilgængeligt på netværket. Sæt den ikke, og åbn aldrig port 11434 i firewallen.

Adgang fra din egen computer med en SSH-tunnel

En SSH-tunnel sender trafik fra en port på din computer gennem din eksisterende SSH-forbindelse til port 11434 på serveren. Der skal ikke åbnes nye porte.

  1. Kør kommandoen på din egen computer med dit eget brugernavn og din servers IP-adresse:

    # run on your own computer; keeps the server's port 11434 closed to the internet
    ssh -N -L 11434:localhost:11434 din-bruger@203.0.113.10
  2. Lad vinduet stå åbent. -L opretter tunnelen, og -N betyder, at der kun videresendes, uden at der køres en kommando på serveren. localhost i midten slås op på serveren og peger derfor på serverens Ollama.

  3. Åbn http://localhost:11434 på din egen computer, eller kør curl-kommandoen med /api/tags fra før. Svaret kommer fra serveren.

  4. Afbryd kommandoen eller luk vinduet, når du er færdig. Så er tunnelen væk.

Formatet er lokal-port:vært:port-på-serveren. Kører du også Ollama lokalt, er port 11434 optaget, så vælg et andet lokalt portnummer, fx 11435. Med -f kører tunnelen i baggrunden. Samme metode virker for alle tjenester, der kun lytter på 127.0.0.1.

En webchat oven på modellen

Foretrækker kollegerne en chat i browseren, kan du installere en webbrugerflade til Ollamas API. Kører du den i en container, finder du grundlaget i Docker på VPS. Lad også den lytte på 127.0.0.1 og brug den gennem tunnelen. Skal den kunne nås udefra, så kun bag login og med HTTPS via et SSL-certifikat fra Let’s Encrypt.

Drift: tjeneste, logs og hukommelse

Status, genstart og de seneste logs:

sudo systemctl status ollama
sudo systemctl restart ollama
journalctl -e -u ollama

Genstart helst, når ingen bruger modellen. Indstillinger som OLLAMA_KEEP_ALIVE, der styrer, hvor længe en model bliver i hukommelsen, sætter du i en tilføjelse til tjenesten. Den første kommando åbner en editor, hvor du indsætter de to linjer under # add: uden kommentartegn:

sudo systemctl edit ollama.service
# add:
# [Service]
# Environment="OLLAMA_KEEP_ALIVE=10m"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Den største driftsrisiko er, at hukommelsen slipper op. Så stopper Linux-kernen en proces, og det kan ramme Ollama eller en anden tjeneste. Se, om det er sket, og hvor meget RAM der er fri:

journalctl -k | grep -i -E 'out of memory|oom-kill'
free -h

Finder du sådanne linjer, så vælg en mindre model eller kvantisering, hav færre modeller indlæst, eller opgrader serveren. Sæt også en advarsel om lav hukommelse op, som beskrevet i Overvåg din VPS.

llama.cpp som lettere alternativ

llama.cpp er et open source-projekt, der også kører kvantiserede modeller på CPU. Det kræver flere manuelle valg og kan bygges fra kildekoden. Kommandoer og standarder har ændret sig over tid, så følg projektets dokumentation, og tjek i hjælpeteksten, hvilken adresse og port serveren lytter på. Også her skal den lytte på 127.0.0.1 og bruges via en SSH-tunnel.

Vedligeholdelse

  • Opdater Ollama ved at køre installationsscriptet igen, og læs det igennem igen. Har en ny udgave problemer, kan du installere en bestemt version. Versionsnummeret er kun et eksempel:

    curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
  • Ryd op i modeller. Se med ollama ls, hvad der ligger på disken, og fjern det, du ikke bruger, med ollama rm.

  • Fjern alt. Dokumentationen beskriver en fuld afinstallation. Den sletter /usr/share/ollama og dermed alle hentede modeller, så tag en backup først.

Tjek modellens licens

En åben model må ikke nødvendigvis bruges til alt. Læs hver models licens før kommerciel brug. Oversigten her er ikke juridisk rådgivning:

  • Qwen 2.5 er under Apache 2.0, undtagen 3b- og 72b-udgaverne, som har Qwens egen licens.
  • Llama 3.2 er under Llama 3.2 Community License. Den kræver, at du følger Metas politik for acceptabel brug, angiver “Built with Llama” og vedlægger licensen, hvis du videregiver modellen. Over 700 mio. aktive brugere om måneden kræver en særskilt licens.
  • Gemma 3 er under Googles Gemma Terms of Use. Læs vilkårene, som modellens side linker til.

Ofte stillede spørgsmål

Kan en VPS uden grafikkort køre en sprogmodel? Ja, hvis modellen er lille og kvantiseret. Svarene kommer langsommere end fra de store cloudtjenester, og modellen betjener kun få brugere ad gangen.

Hvor meget RAM skal jeg bruge? Modelfilens størrelse plus en buffer til kontekst og styresystem. En model på 2 GB passer til 4 GB RAM, og en på ca. 5 GB til 8 GB.

Må jeg bruge modellen til kundeopgaver? Det afhænger af modellens licens og af, hvilke data du behandler. Læs licensen, og vurder GDPR, hvis der indgår personoplysninger.

Kort fortalt

  • Vælg en lille, kvantiseret model, og dimensioner RAM efter modelfilen plus en buffer.
  • Test modelstørrelsen på en server med timeafregning, før du binder dig.
  • Installer Ollama med det officielle script, når du har læst det.
  • Lad API’et lytte på 127.0.0.1, og brug en SSH-tunnel fra din egen computer.
  • Hold øje med hukommelsen, ryd op i gamle modeller, og tjek hver models licens.