GUIDA TECNICA · AMBITO NAZIONALE

Dimensionamento server GPU per AI in azienda: quanta VRAM serve davvero

Guida al calcolo della memoria video per modelli a 8B, 32B e 70B parametri con quantizzazione a 4 e 8 bit.

Aggiornata a ottobre 2026
8 min di lettura
Redazione Tecnica Altovar

1. Perché la memoria video decide tutto

Quando un modello linguistico gira su una scheda grafica, i suoi parametri devono stare nella memoria video, la VRAM (Video RAM). Se il modello non ci entra, il sistema ricorre a memoria di sistema molto più lenta, oppure non parte affatto. Per questo la memoria disponibile per scheda conta più del numero di schede o della potenza di calcolo dichiarata.

Un parametro è un numero interno del modello. Un modello da 8, 32 o 70 miliardi di parametri contiene quindi circa 8, 32 o 70 miliardi di numeri da memorizzare. Quanto spazio occupa ciascun numero dipende dalla precisione con cui è salvato, e questa scelta cambia il fabbisogno in modo drastico. Capire questa relazione è il primo passo per un dimensionamento onesto, che non dipenda da un'impressione.

2. Il calcolo di base: pesi e precisione

La formula di partenza è semplice: memoria dei pesi uguale numero di parametri per byte per parametro. Un numero a 16 bit occupa 2 byte, a 8 bit occupa 1 byte, a 4 bit occupa mezzo byte. Un modello da 70 miliardi di parametri a 4 bit richiede quindi circa 35 GB solo per i pesi, perché 70 miliardi per 0,5 byte fa 35 miliardi di byte, cioè circa 35 GB.

La quantizzazione riduce la precisione dei numeri per risparmiare memoria. Il costo è una perdita di qualità che dipende dal modello e dal compito: a volte impercettibile, a volte rilevante su calcoli o testi tecnici. Non scegliere la precisione solo in base alla memoria disponibile: testa il risultato sui tuoi casi e confronta la versione a 4 bit con quella a 8 bit prima di decidere.

3. Memoria stimata per i soli pesi

La tabella mostra solo i pesi, con valori arrotondati. Non include la cache, il contesto, il software di inferenza e il margine di sicurezza, che vanno sommati. Il calcolo è un ordine di grandezza utile per escludere le configurazioni impossibili, non una misura da usare per comprare l'hardware senza una verifica sul modello reale. Usalo come punto di partenza, mai come conclusione.

I valori raddoppiano passando da 4 a 8 bit, quindi la scelta di precisione pesa più di quasi ogni altra decisione hardware. Un modello da 70 miliardi a 8 bit non entra in molte schede singole, mentre a 4 bit diventa realistico su configurazioni con più memoria. Il confronto va sempre fatto con il modello reale, perché architetture diverse hanno overhead diversi.

ModelloPesi a 4 bitPesi a 8 bit
8 miliardi di parametricirca 4 GBcirca 8 GB
32 miliardi di parametricirca 16 GBcirca 32 GB
70 miliardi di parametricirca 35 GBcirca 70 GB

4. Il resto della memoria: cache e richieste contemporanee

Durante la generazione il modello conserva in memoria una cache con le informazioni dei token già elaborati, chiamata KV cache. Più il contesto è lungo, più la cache cresce. Documenti lunghi, storico delle conversazioni e istruzioni estese consumano memoria anche se il modello non cambia. Per questo conviene fissare un limite ragionevole di contesto per ogni caso d'uso, e dichiararlo nel progetto.

Il numero di utenti che usano il sistema nello stesso momento è l'altro fattore. Ogni richiesta parallela ha la propria cache, quindi un sistema pensato per una persona di prova può non reggere la fase di produzione con un intero team. Stima gli utenti contemporanei nei momenti di punta e lascia margine. Un test di carico con dati simili a quelli reali è più utile di qualsiasi formula teorica.

5. Dalla memoria alla scelta del server

Una scheda con più memoria per unità riduce la complessità: un modello sta su una sola GPU e non si presentano i problemi di comunicazione tra schede. Dividere un modello su più schede è possibile, ma aggiunge complessità software e richiede collegamenti rapidi tra le schede. Per questo, quando il budget lo consente, è preferibile una scheda adeguata a più schede piccole, anche se il costo unitario sembra più alto.

Oltre alla memoria, verifica alimentazione, raffreddamento, spazio nel rack e rumore. Le schede di classe data center, come la NVIDIA L40S citata nei riferimenti di questa guida, sono progettate per funzionare in server, ma richiedono un progetto termico adeguato. Chiedi al fornitore la compatibilità dei driver con il software che userai e il supporto per gli aggiornamenti nel tempo, senza sorprese.

6. Checklist di dimensionamento

Segui questo ordine per non comprare hardware prima di aver definito il problema. Ogni passaggio riduce il rischio di una scelta sbagliata, e i risultati di ciascun passaggio devono essere scritti, perché diventano la base della proposta che approverai. Se un passaggio richiede dati che non hai, fermati e raccoglili prima di andare avanti, perché ogni stima costruita su dati mancanti resta fragile.

Se un passaggio non è chiuso, il dimensionamento è una stima e non un progetto. Chiedi al fornitore di documentare ogni numero usato, con il modello, la precisione e le ipotesi sul carico, così da poterlo verificare quando il sistema sarà in esercizio. Un numero senza ipotesi dichiarate non è un dato utilizzabile. Chiedi anche quali margini ha considerato il fornitore per la crescita.

  1. Definisci i casi d'uso e i modelli candidati, con versione e dimensione esatte.
  2. Stima gli utenti contemporanei e la lunghezza tipica dei documenti.
  3. Scegli la precisione e testa la qualità sui tuoi casi reali.
  4. Calcola la memoria dei pesi e aggiungi la stima della cache.
  5. Applica un margine di sicurezza sulla memoria disponibile.
  6. Verifica alimentazione, raffreddamento e spazio nel rack o nella sede.
  7. Pianifica il backup della configurazione e un piano per i guasti.

7. Errori comuni

Il primo errore è comprare in base al numero di schede o alla potenza di calcolo dichiarata, ignorando la memoria per scheda. Un server con molte GPU può risultare inutile per un modello che non entra in una singola scheda e va diviso con costi di complessità. Il secondo è dimensionare solo per il primo giorno: l'uso cresce, i documenti aumentano e crescono anche le richieste contemporanee.

Il terzo errore è sottovalutare il software. Driver, versioni del framework e strumenti di inferenza devono essere compatibili tra loro e con l'hardware, e un aggiornamento può cambiare le prestazioni in modo sensibile. Chiedi al fornitore come gestisce questi aggiornamenti e quale ambiente di test usa prima di applicarli in produzione. Un aggiornamento senza test è il modo più comune di perdere prestazioni senza accorgersene.

8. Come iniziare

Prima di acquistare, fai un pilota: usa un modello candidato su una macchina esistente o su un servizio in prova, misura la memoria reale con i tuoi documenti e i tempi di risposta con più richieste insieme. I numeri reali valgono più di qualsiasi tabella, e il pilota ti dice subito se la precisione scelta regge davvero il tuo lavoro.

Poi chiedi al fornitore un dimensionamento scritto, basato sul modello e sulla precisione che hai testato, con il margine per la crescita. Confronta la proposta con l'alternativa in servizio, tenendo conto della riservatezza dei dati e dei costi nel tempo. Se la scelta è l'hardware in sede, valuta manutenzione e tempi di sostituzione prima di firmare. Verifica anche chi ti assiste sul posto.

Domande frequenti

Basta una scheda con poca memoria per un modello da 8 miliardi?

Con quantizzazione a 4 bit i soli pesi occupano circa 4 GB, quindi molte schede di fascia media possono reggerlo per test e carichi leggeri. La cache e il margine, però, aumentano con il contesto e con il numero di utenti. Verifica con un test sul tuo carico, non solo sulla memoria dei pesi.

Quale precisione conviene scegliere?

Dipende dal compito. Il 4 bit risparmia molta memoria, mentre l'8 bit conserva più qualità occupando più spazio. La scelta corretta è quella che supera i tuoi test con la memoria disponibile. Confronta le due versioni sugli stessi casi, con attenzione a calcoli, estrazione di dati e rispetto del formato.

Servono più GPU per un modello da 70 miliardi?

Dipende dalla precisione e dalla memoria di ciascuna scheda. A 4 bit i pesi occupano circa 35 GB, che possono stare in una sola scheda con memoria adeguata, ma con poco margine. A 8 bit le risorse necessarie crescono. Non dimenticare che la cache cresce con il contesto. Chiedi al fornitore un dimensionamento scritto con il modello esatto.

Conviene il cloud o un server in azienda?

Il cloud è flessibile per test e carichi variabili, con costi legati all'uso. Il server in sede ha un costo iniziale più alto, ma dà controllo sui dati e costi più prevedibili con carichi costanti. Se i documenti sono riservati, valuta separatamente dove vengono elaborati, dove restano i log e chi può accedervi legalmente.

Quanto deve durare la macchina?

Un server per l'AI è un investimento da pianificare, ma i modelli cambiano in fretta. Conviene progettare per aggiornare software e modello, più che per l'hardware in sé. Chiedi al fornitore il piano di sostituzione, la garanzia sulle schede e i tempi di intervento in caso di guasto.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →