Semana da IA local: modelo 27B reduzido para a RTX 3060, motor criado para Apple Silicon

Este mês chegaram, com poucos dias de diferença, dois lançamentos de inferência local: o Ternary Bonsai 2 27B da PrismML, um modelo muito comprimido destinado a GPUs de consumo, e o Splash da Inco AI, um motor de inferência criado especificamente para o Apple Silicon.

Bonsai 2: um modelo de 27B que cabe em 5,9 GB

A PrismML lançou o Ternary Bonsai 2 27B a 17 de setembro sob uma licença Apache 2.0. Utiliza pesos ternários com escalonamento por grupos em FP16 para reduzir o modelo para 5,93 GB, contra 53,8 GB para o mesmo modelo em FP16, enquanto a PrismML afirma manter 98,2% da pontuação média do modelo original Qwen3.8-27B em 20 benchmarks. A empresa reporta até 143 tokens por segundo numa RTX 5090. Um projeto comunitário separado, também licenciado sob Apache 2.0, otimizou o desempenho de descodificação especificamente para a RTX 3060 12GB — descrita nos seus próprios testes como a GPU de secretária mais comum no inquérito de hardware do Steam de agosto de 2026, com uma quota de pouco menos de 4% — e mediu uma melhoria da velocidade de descodificação de até 1,53x em comprimentos de contexto curtos.

Splash: um motor construído em torno de um modelo, para o Apple Silicon

A Inco AI lançou o Splash como um motor de inferência de código aberto exclusivo para o Apple Silicon, especializado em dois modelos específicos, Qwen3.8-27B e Qwen3.6-35B-A3B, em vez de ter sido construído como um servidor de modelos de uso geral. A Inco reporta cerca de 144 tokens por segundo ao executar o Qwen3.8-27B num M5 Max MacBook Pro, o que, segundo a empresa, é até três vezes a velocidade de descodificação do Ollama e o dobro da do MLX nas suas próprias comparações. O motor requer um chip Apple M3 ou mais recente e pelo menos 36 GB de memória unificada, e a Inco afirma que foi integrado no lançamento Bionic do LM Studio na mesma semana.

O que isto significa para os MSPs

Ambos os conjuntos de valores provêm dos benchmarks do próprio fornecedor ou do projeto, e não de uma auditoria independente, e uma demonstração sólida numa única GPU de secretária ou num MacBook não é o mesmo problema que executar inferência isolada por inquilino para muitos clientes em simultâneo. O que a combinação mostra é que o hardware de consumo está a reduzir a diferença em cargas de trabalho que costumavam exigir um bastidor — algo que vale a pena acompanhar para projetos-piloto e casos de utilização edge, mas ainda não é um substituto de uma plataforma alojada e multi-inquilino.

Fontes: MarkTechPost, Inco AI.