Lokale KI mit Ollama - Versionsgeschichte

Thomas.will: /* Ollama installieren */

2026-05-10T16:11:24Z

Ollama installieren

Thomas.will: /* Ollama installieren */

2026-05-10T16:11:12Z

Ollama installieren

Thomas.will: /* Open WebUI installieren */

2026-05-10T15:53:50Z

Open WebUI installieren

Thomas.will: Die Seite wurde neu angelegt: „= Lokale KI mit Ollama = Ollama ist eine Open-Source-Laufzeitumgebung für große Sprachmodelle (LLMs), die es ermöglicht, KI-Modelle lokal auf eigener Hardw…“

2026-05-10T15:30:54Z

Die Seite wurde neu angelegt: „= Lokale KI mit Ollama = Ollama ist eine Open-Source-Laufzeitumgebung für große Sprachmodelle (LLMs), die es ermöglicht, KI-Modelle lokal auf eigener Hardw…“

Neue Seite

= Lokale KI mit Ollama =

Ollama ist eine Open-Source-Laufzeitumgebung für große Sprachmodelle (LLMs), die es ermöglicht, KI-Modelle lokal auf eigener Hardware zu betreiben. In Kombination mit Open WebUI steht ein browserbasiertes Chat-Interface zur Verfügung.

== Voraussetzungen ==

* Hostname: <code>ollama.lab.int</code>
* Betriebssystem: Debian 13
* Internetzugang (für den initialen Download von Modellen)
* Mindestens 4 GB RAM, empfohlen 8 GB

== Docker installieren ==

Docker wird für Open WebUI benötigt.

<pre>
apt install -y ca-certificates curl gnupg

install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg \
-o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

echo "deb [arch=$(dpkg --print-architecture) \
signed-by=/etc/apt/keyrings/docker.asc] \
https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" \
> /etc/apt/sources.list.d/docker.list

apt update
apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
</pre>

Dienst aktivieren und starten:

<pre>
systemctl enable --now docker
</pre>

== Ollama installieren ==

<pre>
curl -fsSL https://ollama.com/install.sh | sh
</pre>

Ollama läuft nach der Installation automatisch als Systemdienst auf Port <code>11434</code>.

Status prüfen:

<pre>
systemctl status ollama
</pre>

== Sprachmodell herunterladen ==

Ein Modell wird mit <code>ollama pull</code> heruntergeladen. Für eine erste Vorführung eignet sich das kleine <code>llama3.2:3b</code>-Modell (~2 GB):

<pre>
ollama pull llama3.2:3b
</pre>

Weitere empfohlene Modelle:

{| class="wikitable"
! Modell !! Größe !! Stärke
|-
| <code>llama3.2:3b</code> || ~2 GB || Schnell, geringer Ressourcenbedarf
|-
| <code>llama3.1:8b</code> || ~5 GB || Allround, gute Qualität
|-
| <code>qwen2.5:7b</code> || ~5 GB || Gut für Code und Deutsch
|-
| <code>deepseek-r1:7b</code> || ~5 GB || Reasoning, Schritt-für-Schritt-Denken
|}

Installierte Modelle anzeigen:

<pre>
ollama list
</pre>

== Open WebUI installieren ==

Open WebUI stellt ein browserbasiertes Chat-Interface bereit und verbindet sich automatisch mit der lokalen Ollama-Instanz.

<pre>
docker run -d \
--name open-webui \
--restart always \
-p 3000:8080 \
-v open-webui:/app/backend/data \
--add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
ghcr.io/open-webui/open-webui:main
</pre>

Container-Status prüfen:

<pre>
docker ps
</pre>

== Zugriff ==

Das Web-Interface ist nach dem Start erreichbar unter:

<pre>
http://ollama.lab.int:3000
</pre>

Beim ersten Aufruf wird ein Admin-Account angelegt. Anschließend kann oben links das gewünschte Modell ausgewählt und direkt im Browser gechattet werden.

== Kurzreferenz ==

{| class="wikitable"
! Befehl !! Beschreibung
|-
| <code>ollama pull <modell></code> || Modell herunterladen
|-
| <code>ollama list</code> || Installierte Modelle anzeigen
|-
| <code>ollama run <modell></code> || Modell direkt im Terminal starten
|-
| <code>ollama rm <modell></code> || Modell löschen
|-
| <code>systemctl restart ollama</code> || Ollama-Dienst neu starten
|-
| <code>docker restart open-webui</code> || Web-Interface neu starten
|}

@@ Zeile 55: / Zeile 55: @@
 Folgendes eintragen:
   [Service]
-Environment="OLLAMA_HOST=0.0.0.0"
+ Environment="OLLAMA_HOST=0.0.0.0"
   systemctl daemon-reload

@@ Zeile 83: / Zeile 83: @@
 Open WebUI stellt ein browserbasiertes Chat-Interface bereit und verbindet sich automatisch mit der lokalen Ollama-Instanz.
 <pre>
-docker run -d \
+docker compose up -d
 </pre>
@@ Zeile 98: / Zeile 121: @@
 <pre>
-docker ps
+docker compose ps
 </pre>

@@ Zeile 51: / Zeile 51: @@
 systemctl status ollama
 </pre>
 == Sprachmodell herunterladen ==