STRUMENTO GRATUITO

Quale modello AI gira sul tuo server?

Scegli un modello, un livello di quantizzazione e quante persone lo useranno insieme: ottieni una stima onesta della memoria necessaria, quali GPU o Mac ce la fanno davvero, e se conviene comprare hardware o pagare a token via API. Niente viene inviato a un server: gira tutto nel tuo browser.

1. Configura

Modello
Quantizzazione

Q4 — la scelta più comune in locale

Lunghezza del contesto
Utenti simultanei

2. Memoria necessaria

Pesi del modello14.2 GB
Cache KV2.00 GB
Totale richiesto16.2 GB
La configurazione più piccola che basta RTX 4060 Ti 16GB

100% della memoria utilizzabile di RTX 4060 Ti 16GB

Come lo calcoliamo

Pesi ≈ parametri × bit per peso ÷ 8 × 1,1 (margine del 10% per buffer e attivazioni a runtime).

Cache KV = byte per token × lunghezza del contesto × utenti. Per i modelli in elenco i byte per token vengono dalla configurazione del modello stesso (solo i layer che memorizzano ogni token, a 16 bit), quindi i modelli con attenzione compressa ne richiedono molta meno; per una dimensione personalizzata li stimiamo da un'architettura grouped-query tipica.

Sono stime, non garanzie. L'uso reale varia in base al motore di inferenza, alla strategia di batching e alla forma dei prompt.

3. Cosa ci sta

Solo compatibilità di memoria — non inventiamo mai numeri di token al secondo che non possiamo misurare.

HardwareMemoriaEsito
RTX 4060 Ti 16GB ★ 16 GB Al limite
RTX 4090 24GB 24 GB Ci sta
RTX 5090 32GB 32 GB Ci sta
2× RTX 4090 (48GB) 48 GB Ci sta
RTX 6000-class 48GB 48 GB Ci sta
RTX 6000-class 96GB 96 GB Ci sta
Apple M-series 32GB 32 GB Ci sta
Apple M-series 64GB 64 GB Ci sta
Apple M-series 128GB 128 GB Ci sta
NVIDIA DGX Spark-class 128GB 128 GB Ci sta
2x DGX Spark (256 GB) 256 GB Ci sta
4x DGX Spark (512 GB) 512 GB Ci sta

"Ci sta" lascia margine per il sistema operativo e altre app. "Al limite" significa che si supera quel margine di massimo il 15% — un contesto più corto o una quantizzazione più aggressiva colmerebbero il divario.

4. Comprare hardware o pagare a token?

Modifica pure ogni numero qui sotto — sono punti di partenza, non i nostri prezzi.

Ammortizzato su 36 mesi

Costo API mensile€60.00
Costo locale mensile (hardware ammortizzato + elettricità)€81.13
PareggioOltre la finestra di ammortamento di 36 mesi a questo livello di utilizzo

Ipotesi

  • Le stime di memoria presuppongono che l'intero modello e la sua cache KV stiano tutti in VRAM o memoria unificata insieme — nessun offload sulla RAM di sistema.
  • Il fattore di overhead 1,1× è un margine approssimativo per buffer e memoria di attivazione a runtime, non una misura reale di un motore di inferenza specifico.
  • La dimensione della cache KV per token è presa dalla configurazione ufficiale di ciascun modello in elenco e stimata da un'architettura tipica per una dimensione personalizzata — vedi le fonti.
  • Una quantizzazione sotto Q8 cambia il comportamento del modello, non solo la dimensione del file — verifica sempre la qualità per il tuo caso d'uso.
  • La compatibilità hardware confronta la memoria richiesta con un'ipotesi fissa di memoria utilizzabile per dispositivo; il margine reale dipende dal tuo sistema operativo, driver e da cos'altro è in esecuzione.
  • Il confronto dei costi ignora manutenzione, deprezzamento oltre i 36 mesi e il valore del tuo tempo.

Fonti

Il numero di parametri è verificato sulla scheda ufficiale, il technical report o la configurazione Hugging Face di ogni modello:

Ti serve in produzione, non solo stimato?

Altovar realizza deployment di AI sovrana e locale per le aziende europee — sul tuo hardware o in un data center UE, senza che nessun dato lasci la tua infrastruttura. Scopri come Altovar porta l'AI locale in produzione →

Nuovo nel far girare modelli in locale? 3 repository che ogni PMI dovrebbe conoscere per l'AI locale →