Eigene KI (Ollama) hosten

In dieser Anleitung zeigen wir dir, wie du eine eigene KI, also eine eigene künstliche Intelligenz auf deinem Server hosten kannst. Dies machen wir über das kostenlose Tool Ollama. Es gibt mehrere verschiedene Modelle wie llama3 von Meta, phi3 von Microsoft oder Gemma von Google DeepMind.

Bitte beachtet, dass ihr durchaus einen stärkeren Server braucht, der deine Texteingabe verarbeiten kann. Falls ihr dies dennoch auf einem Raspberry Pi installiert, solltet ihr das tinyllama – Modell nutzen. Dieses Modell ist kleiner und deswegen auch von der Leistung eines der schnelleren Modelle.

Bevor wir mit der Installation starten, machen wir zuerst noch Updates:

sudo apt update
sudo apt upgrade

Jetzt brauchen wir curl, um das Installationsskript herunterzuladen:

sudo apt install curl

Jetzt laden wir das Installationsskript herunter und führen es aus:

curl -fsSL https://ollama.com/install.sh | sh

Wenn die Installation jetzt erfolgreich ist, dann können wir die aktuelle Version überprüfen:

ollama -v

Mit folgendem Befehl kann man jetzt die künstliche Intelligenz herunterladen und ausführen:

ollama run MODELL_NAME

Am Ende sollte es dann so aussehen:

Jetzt lädt das Modell her.

Eine Übersicht über alle Modelle findet ihr unter diesem Link.

Wenn ihr das Modell dann heruntergeladen habt (das kann mehrere Minuten dauern, je nachdem, wie groß es ist), könnt ihr nach den „>>>“ eure Frage oder euren Text eingeben:

username@hostname:~$ ollama run llama3
>>> Send a message (/? for help)

Wenn ihr das Modell startet, kann es sein, dass es zuvor noch zu einer kurzen Ladezeit kommt, bevor das Modell her geladen ist. Auch die Antwort kann ein paar Minuten dauern; teilweise erscheint dann ganz langsam ein Buchstabe nach dem anderen.

Falls ihr dann mit dem Chatten fertig seid, kann man Ollama mit folgendem Befehl wieder verlassen:

>>> /bye

Damit man aber auch von andere Webseiten wie eben Open WebUI auf Ollama zugreifen kann, müssen wir noch den Service bearbeiten. Das machen wir mit folgendem Befehl:

sudo systemctl edit ollama.service

In dieser Datei muss dann 1:1 dieser Text drinnen stehen:

### Editing /etc/systemd/system/ollama.service.d/override.conf
### Anything between here and the comment below will become the contents of the drop-in file

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

### Edits below this comment will be discarded


### /etc/systemd/system/ollama.service
# [Unit]
# Description=Ollama Service
# After=network-online.target
#
# [Service]
# ExecStart=/usr/local/bin/ollama serve
# User=ollama
# Group=ollama
# Restart=always
# RestartSec=3
# Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
#
# [Install]
# WantedBy=default.target

Anschließend müssen wir den Service noch neu starten und dass war es dann:

systemctl daemon-reload
systemctl restart ollama

Im nächsten Artikel am Montag nächste Woche erklären wir euch, wie man für Ollama eine grafische Oberfläche installieren kann.

Schreibt Fragen, Wünsche oder Anregungen wie immer gerne in die Kommentare!