Lokale KI-Woche: komprimiertes 27B-Modell für RTX 3060, Engine für Apple Silicon

Diesen Monat erschienen innerhalb weniger Tage zwei Veröffentlichungen für lokale Inferenz: das stark komprimierte Modell Ternary Bonsai 2 27B von PrismML, das auf Consumer-GPUs zielt, und Splash von Inco AI, eine speziell für Apple Silicon entwickelte Inferenz-Engine.

Bonsai 2: ein 27B-Modell, das in 5,9 GB passt

PrismML veröffentlichte Ternary Bonsai 2 27B am 17. September unter einer Apache-2.0-Lizenz. Das Modell nutzt ternäre Gewichte mit gruppenweiser FP16-Skalierung und schrumpft dadurch auf 5,93 GB, gegenüber 53,8 GB für dasselbe Modell in FP16; nach Angaben von PrismML bleiben dabei 98,2 Prozent der durchschnittlichen Ergebnisse des Basismodells Qwen3.8-27B über 20 Benchmarks erhalten. Das Unternehmen meldet bis zu 143 Token pro Sekunde auf einer RTX 5090. Ein separates, ebenfalls unter Apache 2.0 lizenziertes Community-Projekt optimierte die Dekodierleistung speziell für die RTX 3060 12 GB – in den eigenen Benchmarks als die mit knapp unter 4 Prozent Anteil häufigste Desktop-GPU in Steams Hardware-Umfrage vom August 2026 bezeichnet – und maß eine Beschleunigung der Dekodiergeschwindigkeit um bis zu 1,53x bei kurzen Kontextlängen.

Splash: eine Engine, die um ein Modell herum für Apple Silicon gebaut wurde

Inco AI veröffentlichte Splash als quelloffene, ausschließlich für Apple Silicon bestimmte Inferenz-Engine, die auf zwei bestimmte Modelle spezialisiert ist – Qwen3.8-27B und Qwen3.6-35B-A3B – statt als universeller Modellserver zu dienen. Inco meldet rund 144 Token pro Sekunde mit Qwen3.8-27B auf einem M5 Max MacBook Pro; das sei in den eigenen Vergleichen bis zu dreimal so schnell wie die Dekodiergeschwindigkeit von Ollama und doppelt so schnell wie MLX. Die Engine setzt einen Apple-M3-Chip oder neuer sowie mindestens 36 GB Unified Memory voraus. Laut Inco wurde sie in derselben Woche in die Bionic-Version von LM Studio integriert.

Was das für MSPs bedeutet

Beide Zahlen stammen aus den eigenen Benchmarks des Anbieters beziehungsweise des Projekts und nicht aus einer unabhängigen Prüfung, und eine starke Demo auf einer einzelnen Desktop-GPU oder einem MacBook ist nicht dasselbe Problem wie mandantenisolierte Inferenz für viele Kunden gleichzeitig. Was die beiden Veröffentlichungen aber zeigen, ist, dass Consumer-Hardware bei Workloads aufholt, die früher ein Rack erforderten – relevant für Pilot- und Edge-Anwendungsfälle, aber noch kein Ersatz für eine gehostete Multi-Tenant-Plattform.

Quellen: MarkTechPost, Inco AI.