Indispensáveis para o funcionamento do site (sessão, preferências, segurança). Sempre ativos.
Que modelo de IA o seu hardware consegue correr?
Escolha um modelo, um nível de quantização e quantas pessoas o vão usar ao mesmo tempo — obtenha uma estimativa honesta de memória, que GPUs ou Macs realmente chegam, e se comprar hardware compensa mais do que pagar por token de API. Nada é enviado para um servidor: tudo é calculado no seu navegador.
1. Configurar
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Tamanho personalizado…
Pressupõe um modelo denso — para o seu próprio fine-tune ou um modelo fora da lista.
2. Memória necessária
100% da memória utilizável de RTX 4060 Ti 16GB
Como calculamos isto
Pesos ≈ parâmetros × bits por peso ÷ 8 × 1,1 (margem de 10% para buffers e ativações em tempo de execução).
Cache KV = bytes por token × comprimento de contexto × utilizadores. Para os modelos da lista, os bytes por token vêm da configuração do próprio modelo (apenas as camadas que guardam cada token, a 16 bits), pelo que os modelos com atenção comprimida precisam de muito menos; para um tamanho personalizado, estimamos a partir de uma arquitetura grouped-query típica.
São estimativas, não garantias. O uso real varia com o motor de inferência, a estratégia de batching e a forma dos prompts.
3. O que cabe
Apenas compatibilidade de memória — nunca inventamos números de tokens por segundo que não conseguimos medir.
| Hardware | Memória | Resultado |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | No limite |
| RTX 4090 24GB | 24 GB | Cabe |
| RTX 5090 32GB | 32 GB | Cabe |
| 2× RTX 4090 (48GB) | 48 GB | Cabe |
| RTX 6000-class 48GB | 48 GB | Cabe |
| RTX 6000-class 96GB | 96 GB | Cabe |
| Apple M-series 32GB | 32 GB | Cabe |
| Apple M-series 64GB | 64 GB | Cabe |
| Apple M-series 128GB | 128 GB | Cabe |
| NVIDIA DGX Spark-class 128GB | 128 GB | Cabe |
| 2x DGX Spark (256 GB) | 256 GB | Cabe |
| 4x DGX Spark (512 GB) | 512 GB | Cabe |
"Cabe" deixa margem para o sistema operativo e outras aplicações. "No limite" significa que essa margem é ultrapassada até 15% — um contexto mais curto ou uma quantização mais agressiva fechariam a diferença.
4. Comprar hardware ou pagar por token?
Edite qualquer número abaixo — são pontos de partida, não os nossos preços.
Amortizado ao longo de 36 meses
Pressupostos
- As estimativas de memória assumem que todo o modelo e a sua cache KV cabem ao mesmo tempo em VRAM ou memória unificada — sem offload para a RAM do sistema.
- O fator de sobrecarga de 1,1× é uma margem aproximada para buffers e memória de ativação em tempo de execução, não um valor medido de nenhum motor de inferência específico.
- O tamanho da cache KV por token é retirado da configuração oficial de cada modelo da lista e estimado a partir de uma arquitetura típica para um tamanho personalizado — ver fontes.
- Quantização abaixo de Q8 muda o comportamento do modelo, não só o tamanho do ficheiro — verifique sempre a qualidade para o seu caso de uso.
- A compatibilidade de hardware compara a memória necessária com um pressuposto fixo de memória utilizável por dispositivo; a margem real depende do seu sistema operativo, drivers e do que mais estiver a correr.
- A comparação de custos ignora manutenção, depreciação além dos 36 meses e o valor do seu próprio tempo.
Fontes
O número de parâmetros é verificado com base na ficha oficial, no relatório técnico ou na configuração Hugging Face de cada modelo:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Precisa disto em produção, e não só estimado?
A Altovar implementa IA soberana e local para empresas europeias — no seu próprio hardware ou num data center da UE, sem que nenhum dado saia da sua infraestrutura. Veja como a Altovar leva a IA local para produção →