3 Repos, die man kennen sollte: KI im Büro – auch ohne Cloud

Ende September 2026 lautet die Frage unter Entwicklern und IT-Managern nicht mehr „Ist KI beeindruckend?“, sondern „Welche KI kann man sich leisten und wirklich kontrollieren?“. Drei Open-Source-Projekte behaupten sich bei Sternen und Aktivität an der Spitze von GitHub, weil sie genau darauf für ein kleines Unternehmen eine Antwort geben: Modelle auf eigener Hardware, Suche in Unternehmensdokumenten, automatisierte Prozesse mit Agenten. Hier sind die drei, die man kennen sollte – samt Vor- und Nachteilen.

Ollama: Modelle auf der eigenen Hardware laufen lassen, nicht auf fremder

Ollama ist eine Open-Source-Laufzeitumgebung (MIT-Lizenz), die Sprachmodelle – von Llama und Qwen bis Gemma und DeepSeek – direkt auf einem PC, einem Mini-Server oder einem Mac herunterlädt und ausführt, mit einem einzigen Befehl oder einer OpenAI-kompatiblen API. Zum 24. September 2026 zählt das Repository über 181.000 Sterne auf GitHub und erhält fast täglich Commits.

Für ein KMU oder einen MSP in Italien bedeutet das interne KI-Assistenten – einen Chatbot für das Lager, einen E-Mail-Zusammenfasser – ohne dass Daten das Unternehmen verlassen und ohne monatliche Token-Gebühr. Zugleich ist es die Basis vieler anderer Open-Source-Tools, einschließlich des nächsten in dieser Liste.

Zum Ausprobieren genügt es, Ollama zu installieren und ein leichtes Modell zu starten, das auch auf einem Laptop ohne dedizierte Grafikkarte läuft: ollama run llama3.2

Der Flaschenhals ist die Hardware: Kleine Modelle (3-8 Milliarden Parameter) laufen auf jeder gewöhnlichen Maschine gut, doch für Ergebnisse nahe an denen von Cloud-Modellen braucht es eine GPU mit 16 GB VRAM oder mehr, wie die im Foto. Im Mai 2026 entdeckten Forscher von Cyera in Ollama eine Sicherheitslücke namens „Bleeding Llama“ (CVE-2026-7482, CVSS-Wert 9,1), die den Prozessspeicher auf über 300.000 ohne Authentifizierung aus dem Internet erreichbaren Servern offenlegte: Ab Version 0.17.1 behoben, bleibt sie eine Mahnung, die Ollama-API niemals ohne authentifizierten Proxy online zugänglich zu machen.

RAGFlow: KI anhand der eigenen Dokumente antworten lassen

RAGFlow ist eine Open-Source-Engine (Apache-2.0-Lizenz) für Retrieval-Augmented Generation: Sie indiziert Verträge, Rechnungen, Präsentationen und gescannte PDFs, versteht sie auch als Tabellen oder komplexe Layouts und beantwortet Fragen mit einem Verweis auf die genaue Stelle im Dokument, aus der die Antwort stammt. Zum 24. September 2026 hat es über 91.000 Sterne auf GitHub.

Es ist der Anwendungsfall, den Kunden von einem MSP am häufigsten verlangen: „Ich möchte Dokumente wie bei Google durchsuchen, aber mit echten Antworten auf Fragen.“ RAGFlow erledigt das lokal, sodass Verträge und Daten auf den eigenen Servern bleiben, und die Quellenangaben verringern das Risiko, dass sich die KI eine Antwort ausdenkt.

Die Installation mit Docker dauert nur wenige Minuten: git clone https://github.com/infiniflow/ragflow.git && cd ragflow/docker && docker compose -f docker-compose.yml up -d

Leichtgewichtig ist es nicht: Es braucht mindestens 16 GB RAM, 50 GB Speicherplatz und ein aktuelles Docker, und die vorgefertigten Images laufen nur auf x86 (nicht auf Apple-Silicon-Macs oder einem Raspberry Pi). Das gehört in die Hände von jemandem, der Docker und Elasticsearch wirklich administrieren kann: Ein Installieren-und-vergessen-Produkt ist das nicht.

n8n: Prozesse mit KI-Agenten automatisieren, ohne (viel) Code

n8n ist eine visuelle Automatisierungsplattform mit über 400 Integrationen, die inzwischen native KI-Agenten mitbringt: Per Drag-and-drop verbindet man einen Trigger (eine neue E-Mail, eine neue Bestellung), ein Modell nach Wahl – OpenAI, Anthropic oder ein lokales Modell über Ollama – und eine Aktion. Zum 24. September 2026 hat es über 205.000 Sterne auf GitHub, die höchste Zahl der drei Repositories in diesem Artikel.

Für einen MSP ist es das Werkzeug, mit dem sich Kundenautomatisierungen in Stunden statt Wochen bauen lassen: eine automatische Ticket-Zuordnung, ein Agent, der aus CRM-Daten ein Angebot erstellt, eine Benachrichtigung, wenn eine überfällige Rechnung noch nicht bezahlt wurde.

Der Test gelingt mit einem einzigen Container: docker run -it --rm --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n

Zwei Dinge sind wichtig, bevor man es an einen Kunden weiterverkauft. Erstens: Die Lizenz ist kein klassisches Open Source, sondern eine „Sustainable Use License“, die Nutzung und Anpassung für das eigene Geschäft erlaubt, aber ohne Enterprise-Lizenz keinen Weiterverkauf als Dienst in Konkurrenz zu n8n Cloud – relevant, wenn ein MSP erwägt, es für mehrere Kunden zu hosten. Zweitens: Im Januar 2026 wurde eine kritische Sicherheitslücke (CVE-2026-21858, CVSS-Wert 10) öffentlich, die von Cyera entdeckt und bereits ab Version 1.121.0 behoben wurde; laut Shadowserver waren Wochen später noch zehntausende ungepatchte Instanzen exponiert. Immer aktualisieren: Das ist keine Option.

Warum das wichtig ist

Für IT-Manager oder MSPs in Italien decken diese drei Repositories die drei Wege ab, auf denen ein kleines Unternehmen tatsächlich mit KI startet: sie im eigenen Haus laufen lassen, um keine Token-Kosten zu zahlen und keine Daten abfließen zu lassen, sie in den eigenen Dokumenten statt in einer Excel-Tabelle suchen lassen, und einen Prozess automatisieren lassen, den heute noch ein Mitarbeiter von Hand erledigt. Keines der drei Tools braucht ein Budget wie ein Großunternehmen: Es braucht nur jemanden, der sie installieren und aktualisieren kann und weiß, wo die Daten landen. Altovar unterstützt Unternehmen bei der Integration von KI und bei lokalen oder souveränen Deployments; um herauszufinden, welches dieser Tools zur eigenen Struktur passt, ist die Seite KI-Services von Altovar ein guter Ausgangspunkt.

Quellen: GitHub-Repository von Ollama, GitHub-Repository von RAGFlow, GitHub-Repository von n8n (Sterne, Lizenz und Datum des letzten Pushes über die GitHub-API am 24. September 2026 verifiziert); The Hacker News zur Sicherheitslücke CVE-2026-7482 von Ollama; Cybersecurity Dive zur Sicherheitslücke CVE-2026-21858 von n8n.