Einführung
Large Language Models – kurz LLMs – sind die treibende Kraft der aktuellen KI-Welle. Sie generieren Texte, Code, Dialoge und Antworten, als hätten sie Verstand. Bekannte Vertreter heißen GPT-4 (OpenAI), Claude (Anthropic), Gemini (Google), Llama (Meta) oder Mistral (Mistral AI).
Was sie eint: Sie leben fast ausschließlich in der Cloud. Ihre Intelligenz gehört der Infrastruktur der Anbieter – nicht dem Nutzer. Jede Anfrage läuft über entfernte Server, jede Antwort ist das Ergebnis einer intransparenten Berechnung irgendwo zwischen Rechenzentrum und Geschäftsmodell.
Doch es gibt Alternativen. Ein wachsender Teil der Community versucht, die Kontrolle zurückzugewinnen – durch lokale LLMs, die direkt auf dem eigenen Rechner laufen. Keine Cloud, kein API-Key, kein Tracking. Nur Rechenzeit, Strom und Geduld.
Wie ein LLM funktioniert
Ein LLM ist im Kern ein Textvorhersage-System. Es hat Milliarden von Textbeispielen analysiert und gelernt, welches Wort wahrscheinlich als Nächstes folgt. Dabei merkt es sich keine Sätze, sondern Muster – Zusammenhänge zwischen Wörtern, Bedeutungen und Kontexten.
Wenn man ihm also eine Frage stellt, berechnet es zeichenweise das wahrscheinlichste nächste Wort. Das geschieht milliardenfach pro Antwort. Ein moderner Laptop schafft das, aber langsam – und mit hörbarem Lüfterrauschen.
Die Modelle basieren meist auf sogenannten Transformern – neuronalen Netzwerken, die gleichzeitig auf viele Worte im Satz “achten” können (“Self-Attention”). Das macht sie erstaunlich gut darin, Struktur und Bedeutung zu erfassen – zumindest statistisch.
Risiken und Abhängigkeiten
Die großen Cloud-Modelle bringen gewaltige Rechenleistung mit, aber auch Abhängigkeiten. Man gibt Daten preis, ohne genau zu wissen, was mit ihnen geschieht. Die Modelle verändern sich stillschweigend über Nacht. Der Zugriff kann eingeschränkt, reguliert oder monetarisiert werden.
Dazu kommt eine kulturelle Gefahr: Die Vorstellung, dass Sprachintelligenz etwas ist, das nur in proprietären Rechenzentren existieren darf – und nicht mehr im eigenen Werkzeugkasten.
Lokale LLMs als Gegenentwurf
Ein lokal betriebenes LLM verschiebt dieses Kräfteverhältnis. Statt auf externe Server zuzugreifen, läuft das Modell auf der eigenen Hardware. Die einzige Cloud ist der Wasserdampf aus der CPU-Kühlung.
Das hat drei unmittelbare Konsequenzen:
- Datensouveränität: Kein Prompt verlässt den Rechner.
- Unabhängigkeit: Kein Anbieter kann den Zugang sperren oder drosseln.
- Transparenz: Der gesamte Prozess – vom Download bis zur Generierung – ist einsehbar.
Allerdings kostet diese Freiheit Rechenzeit. Und Geduld.
Ollama – eine lokale LLM-Laufzeitumgebung
Ollama ist eine LLM Runtime – also eine Laufzeitumgebung für Sprachmodelle. Sie stellt lokal denselben Funktionsumfang bereit, den sonst nur Cloud-APIs bieten: Modelle laden, verwalten, chatten, erzeugen oder einbetten.
Technisch besteht Ollama aus drei Teilen:
- Server (
ollama serve) – ein lokaler HTTP-Dienst auf Port 11434, der Befehle wie/api/chatoder/api/generatebereitstellt. - CLI-Client (
ollama run,ollama pull,ollama create) – das Kommandozeilen-Werkzeug. - Modell-Repository – ein öffentlicher Katalog, aus dem Modelle wie “mistral”, “llama3” oder “phi3” heruntergeladen werden können.
Ollama ist Open Source, geschrieben in Go, und lässt sich selbst kompilieren.
Praxis: Ollama lokal bauen und Mistral-Modell ausführen
Abhängigkeiten
sudo apt update
sudo apt install -y build-essential git curl pkg-config cmake
Build aus dem Quellcode
git clone https://github.com/ollama/ollama.git
cd ollama
go build
cp ollama ~/bin/
Dann starten:
ollama serve
Der Server erzeugt beim ersten Lauf einen SSH-Schlüssel und startet eine lokale API:
[GIN-debug] POST /api/generate
[GIN-debug] GET /v1/models
...
Ein Test zeigt, dass alles läuft:
curl http://localhost:11434/api/tags
Antwort:
{"models":[]}
Mistral herunterladen und starten
ollama pull mistral
ollama run mistral
Prompt:
>>> Was bedeutet Unabhängigkeit für Sie?
Antwort:
Für mich bedeutet Unabhängigkeit, die Freiheit und Selbstbestimmung ohne externe Kontrolle …
Das Modell läuft – langsam, aber lokal.
Eigene Modelle ableiten
Ollama erlaubt, eigene Varianten auf Basis vorhandener Modelle zu erstellen.
Man schreibt dafür eine kleine Textdatei namens Modelfile:
FROM mistral
SYSTEM """
Sie sind ein erfahrener Berater und Sounddesigner für elektronische Musikinstrumente.
Ihre Spezialgebiete sind analoge und digitale Synthesizer, FM-Synthese, Modularsysteme
und die Erstellung von Patches in DAWs.
"""
PARAMETER temperature 0.8
PARAMETER top_p 0.9
Dann:
ollama create mymodel -f Modelfile
ollama run mymodel
Beispiel-Prompt:
>>> Welchen Synthesizer können Sie für warme Flächensounds empfehlen?
Antwort:
Für warme Flächensounds empfehle ich den Moog Subsequent 37 oder Software wie Pigments …
Eine simple Modellerweiterung – aber vollständig lokal erzeugt.
FROM mistral
→ legt das Basismodell fest, von dem abgeleitet wird.
SYSTEM """ ... """
→ definiert den System-Prompt – also Rolle und Stil des Modells (hier: Synthesizer-Berater).
PARAMETER temperature 0.8
→ bestimmt die Kreativität der Antworten (niedriger = präziser, höher = freier).
PARAMETER top_p 0.9
→ steuert, wie breit das Modell aus möglichen Wörtern auswählt (Kompromiss aus Vielfalt und Kohärenz).
📝 Das Modelfile ist im Grunde das Rezept, das einem bestehenden LLM eine neue Identität und ein anderes Antwortverhalten gibt.
Realität und Grenzen
Das Ganze funktioniert – mit Einschränkungen. Auf einem i5-Laptop von 2021 ohne GPU braucht eine Antwort etwa fünf Minuten. Die Berechnung läuft auf der CPU und beansprucht alle Kerne. Mit einer modernen Grafikkarte (CUDA, ROCm oder Metal) verkürzt sich die Reaktionszeit drastisch.
Das Training solcher Modelle ist eine ganz andere Größenordnung: Tausende GPUs, monatelange Laufzeiten, Megawatt an Energie. Hier bleibt man zwangsläufig auf veröffentlichte Modelle angewiesen.
Fazit
Der lokale Betrieb eines LLM ist eine Mischung aus Faszination und Ernüchterung. Faszinierend, weil man plötzlich ein Stück Sprachintelligenz auf dem eigenen Rechner erlebt – open source, nachvollziehbar, greifbar. Ernüchternd, weil man merkt, wie viel Energie und Rechenleistung diese Systeme brauchen.
Die Laufzeitumgebung Ollama ist ein wichtiger Schritt in Richtung Selbstbestimmung: Sie macht aus Modellen Werkzeuge. Doch die Illusion der völligen Unabhängigkeit bleibt brüchig – solange die Modelle selbst aus zentralen Quellen stammen.
Trotzdem: Der Moment, in dem das Terminal nach ein paar Minuten eine sinnvolle Antwort schreibt, ist ein kleiner Triumph. Es ist, als hätte man eine Miniaturausgabe der Cloud in der eigenen Hand.
“Die Maschine antwortet – langsam, schnaufend, aber eigenständig. Vielleicht ist Unabhängigkeit manchmal genau das: Zeit gegen Kontrolle zu tauschen.”