Ein lokales Modell starten

Vor wenigen Jahren war ein eigenes Modell ein Bastelprojekt. Heute ist es ein Download. Du brauchst ein Programm, das Modelle ausführt, und ein Modell – eine Datei von einigen Gigabyte.

Zwei Werkzeuge

Ollama kommt von der Kommandozeile her und ist in wenigen Befehlen eingerichtet. Es eignet sich besonders, wenn andere Programme das Modell nutzen sollen.

LM Studio hat eine grafische Oberfläche: Modell suchen, laden, chatten. Der Einstieg ohne Terminal. Die Agenten-Variante davon behandelt LM Studio Bionic.

Beide sind kostenlos nutzbar, beide laufen auf macOS, Windows und Linux. Fang mit dem an, das zu deiner Arbeitsweise passt – die Modelle dahinter sind dieselben.

Der Weg mit Ollama

Nach der Installation von der Website des Projekts genügt ein Befehl:

ollama run gemma4:e2b

Ollama lädt das Modell herunter – bei diesem Beispiel aus der offiziellen Anleitung rund sieben Gigabyte – und öffnet einen Chat im Terminal. Mit /bye beendest du ihn.

ollama pull <modell>     Modell laden, ohne zu chatten
ollama list              was liegt auf diesem Rechner?
ollama run <modell>      Chat starten

Welches Modell du nimmst, hängt an deinem Arbeitsspeicher. Wie du das vorher ausrechnest, zeigt die nächste Station. Für den ersten Versuch gilt: lieber ein kleines Modell, das flüssig läuft, als ein großes, das dich warten lässt. Ollama-Schnellstart

Die lokale Schnittstelle

Sobald Ollama läuft, hört es auf deinem Rechner unter http://localhost:11434 auf Anfragen. Das ist der eigentliche Wert: Jedes Programm auf deinem Rechner kann das Modell benutzen.

Die Schnittstelle spricht die Formate, die auch die großen Anbieter verwenden. Viele Werkzeuge, die für ein Cloud-Modell gebaut wurden, lassen sich deshalb auf das lokale umstellen, indem du die Adresse änderst. Ollama bringt dafür einen Kurzbefehl mit: ollama launch startet einen Coding-Agenten wie Claude Code, Codex oder OpenCode direkt gegen ein Modell deiner Wahl.

Die Falle: Cloud im lokalen Werkzeug

„Lokales Werkzeug“ heißt nicht mehr automatisch „lokale Verarbeitung“. Ollama bietet nach Anmeldung auch Cloud-Modelle an, die auf Servern des Anbieters rechnen. LM Studio Bionic lässt dich zwischen lokal, einem zweiten eigenen Gerät und der Cloud wählen.

Das ist praktisch, wenn die eigene Hardware nicht reicht. Es ist ein Problem, wenn du annimmst, deine Vertragsentwürfe blieben im Haus.

Drei Prüfungen:

1. Der Netztest. WLAN aus, Frage stellen. Kommt eine Antwort, wird lokal gerechnet.
2. Die Modellliste. Steht bei dem gewählten Modell ein Hinweis auf Cloud oder ein Konto?
3. Die Nebenmodelle. Manche Werkzeuge nutzen für Websuche, Bilder oder Sprache ein anderes Modell als für den Text. Prüf jede Einstellung einzeln.

Was du erwarten kannst

Ein Modell, das auf einen Laptop passt, ist nicht das Modell aus deinem Cloud-Abo. Es ist kleiner, und das merkt man.

Gut: zusammenfassen, umformulieren, übersetzen, Daten aus Texten ziehen, sortieren und einordnen, einfache Entwürfe.

Schwächer: lange Schlussketten, große Dokumente im Ganzen, zuverlässige Werkzeugaufrufe über viele Schritte – also genau das, was Agenten brauchen.

Das ist kein Mangel, sondern eine Arbeitsteilung. Viele Aufgaben im Alltag sind von der ersten Sorte, und für sie zahlst du lokal nichts pro Anfrage und schickst nichts weg.

Der erste Abend

Stell dem Modell fünf Aufgaben aus deiner echten Arbeit, nicht aus einem Benchmark: eine Mail zusammenfassen, eine Tabelle beschreiben, einen Absatz kürzen. Notiere, wo es reicht und wo nicht. Diese Liste ist die Grundlage für die Frage, die den Pfad abschließt: was lokal bleibt und was in die Cloud darf.