Indispensabili per il funzionamento del sito (login, preferenze, sicurezza). Sempre attivi.
Quale modello AI gira sul tuo server?
Scegli un modello, un livello di quantizzazione e quante persone lo useranno insieme: ottieni una stima onesta della memoria necessaria, quali GPU o Mac ce la fanno davvero, e se conviene comprare hardware o pagare a token via API. Niente viene inviato a un server: gira tutto nel tuo browser.
1. Configura
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Dimensione personalizzata…
Ipotesi di modello denso — per un tuo fine-tune o un modello non in lista.
2. Memoria necessaria
100% della memoria utilizzabile di RTX 4060 Ti 16GB
Come lo calcoliamo
Pesi ≈ parametri × bit per peso ÷ 8 × 1,1 (margine del 10% per buffer e attivazioni a runtime).
Cache KV = byte per token × lunghezza del contesto × utenti. Per i modelli in elenco i byte per token vengono dalla configurazione del modello stesso (solo i layer che memorizzano ogni token, a 16 bit), quindi i modelli con attenzione compressa ne richiedono molta meno; per una dimensione personalizzata li stimiamo da un'architettura grouped-query tipica.
Sono stime, non garanzie. L'uso reale varia in base al motore di inferenza, alla strategia di batching e alla forma dei prompt.
3. Cosa ci sta
Solo compatibilità di memoria — non inventiamo mai numeri di token al secondo che non possiamo misurare.
| Hardware | Memoria | Esito |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | Al limite |
| RTX 4090 24GB | 24 GB | Ci sta |
| RTX 5090 32GB | 32 GB | Ci sta |
| 2× RTX 4090 (48GB) | 48 GB | Ci sta |
| RTX 6000-class 48GB | 48 GB | Ci sta |
| RTX 6000-class 96GB | 96 GB | Ci sta |
| Apple M-series 32GB | 32 GB | Ci sta |
| Apple M-series 64GB | 64 GB | Ci sta |
| Apple M-series 128GB | 128 GB | Ci sta |
| NVIDIA DGX Spark-class 128GB | 128 GB | Ci sta |
| 2x DGX Spark (256 GB) | 256 GB | Ci sta |
| 4x DGX Spark (512 GB) | 512 GB | Ci sta |
"Ci sta" lascia margine per il sistema operativo e altre app. "Al limite" significa che si supera quel margine di massimo il 15% — un contesto più corto o una quantizzazione più aggressiva colmerebbero il divario.
4. Comprare hardware o pagare a token?
Modifica pure ogni numero qui sotto — sono punti di partenza, non i nostri prezzi.
Ammortizzato su 36 mesi
Ipotesi
- Le stime di memoria presuppongono che l'intero modello e la sua cache KV stiano tutti in VRAM o memoria unificata insieme — nessun offload sulla RAM di sistema.
- Il fattore di overhead 1,1× è un margine approssimativo per buffer e memoria di attivazione a runtime, non una misura reale di un motore di inferenza specifico.
- La dimensione della cache KV per token è presa dalla configurazione ufficiale di ciascun modello in elenco e stimata da un'architettura tipica per una dimensione personalizzata — vedi le fonti.
- Una quantizzazione sotto Q8 cambia il comportamento del modello, non solo la dimensione del file — verifica sempre la qualità per il tuo caso d'uso.
- La compatibilità hardware confronta la memoria richiesta con un'ipotesi fissa di memoria utilizzabile per dispositivo; il margine reale dipende dal tuo sistema operativo, driver e da cos'altro è in esecuzione.
- Il confronto dei costi ignora manutenzione, deprezzamento oltre i 36 mesi e il valore del tuo tempo.
Fonti
Il numero di parametri è verificato sulla scheda ufficiale, il technical report o la configurazione Hugging Face di ogni modello:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Ti serve in produzione, non solo stimato?
Altovar realizza deployment di AI sovrana e locale per le aziende europee — sul tuo hardware o in un data center UE, senza che nessun dato lasci la tua infrastruttura. Scopri come Altovar porta l'AI locale in produzione →