Lokale AI-week: een klein 27B-model voor RTX 3060, een engine voor Apple Silicon

Twee releases voor lokale inferentie verschenen binnen enkele dagen na elkaar deze maand: PrismML's Ternary Bonsai 2 27B, een sterk gecomprimeerd model gericht op consumenten-GPU's, en Inco AI's Splash, een inferentie-engine die specifiek is gebouwd voor Apple Silicon.

Bonsai 2: een 27B-model dat in 5,9 GB past

PrismML bracht Ternary Bonsai 2 27B op 17 september uit onder een Apache 2.0-licentie. Het model gebruikt ternaire gewichten met FP16-groepsgewijze schaling om het model te verkleinen tot 5,93 GB, tegenover 53,8 GB voor hetzelfde model in FP16, terwijl PrismML stelt dat het 98,2 % van de gemiddelde score van het oorspronkelijke Qwen3.8-27B-model over 20 benchmarks behoudt. Het bedrijf rapporteert tot 143 tokens per seconde op een RTX 5090. Een apart, eveneens onder Apache 2.0 gelicentieerd communityproject optimaliseerde de decode-prestaties specifiek voor de RTX 3060 12GB -- in de eigen benchmarking beschreven als de meest voorkomende desktop-GPU in Steam's hardware-enquête van augustus 2026, met net geen 4 % aandeel -- en mat een decode-snelheid die tot 1,53x verbeterde bij korte contextlengtes.

Splash: een engine gebouwd rond één model, voor Apple Silicon

Inco AI bracht Splash uit als een open-source, uitsluitend voor Apple Silicon bedoelde inferentie-engine die is gespecialiseerd in twee specifieke modellen, Qwen3.8-27B en Qwen3.6-35B-A3B, in plaats van als een algemeen modelserver. Inco rapporteert ongeveer 144 tokens per seconde bij het draaien van Qwen3.8-27B op een M5 Max MacBook Pro, wat volgens het bedrijf tot drie keer de decode-snelheid van Ollama en twee keer die van MLX bedraagt in eigen vergelijkingen. De engine vereist een Apple M3-chip of nieuwer en minstens 36 GB unified memory, en Inco meldt dat het dezelfde week werd geïntegreerd in de Bionic-release van LM Studio.

Wat dit betekent voor MSP's

Beide reeksen cijfers komen van de leverancier of het eigen benchmarken van het project, niet van een onafhankelijke audit, en een sterke demo op een enkele desktop-GPU of MacBook is niet hetzelfde als het draaien van tenant-geïsoleerde inferentie voor veel klanten tegelijk. Wat de combinatie wel laat zien, is dat consumentenhardware de kloof aan het dichten is met workloads die vroeger een rack vereisten -- de moeite waard om te volgen voor pilot- en edge-use cases, maar nog geen vervanging voor een gehost, multi-tenant platform.

Bronnen: MarkTechPost, Inco AI.