GUIDA · LLM ON PREM

Throughput e latenza di un LLM: token al secondo e concorrenza spiegati

Quando un fornitore dichiara i token al secondo, dà un numero che da solo dice poco. Questa guida spiega le differenze tra latenza, throughput e concorrenza, cosa percepisce davvero un utente e quali domande fare per confrontare due sistemi in modo corretto. Non servono conoscenze tecniche avanzate per usarla.

Aggiornata a ottobre 2026
7 min di lettura
Redazione Tecnica Altovar

1. Cosa sono i token

Un modello non scrive parole intere, ma lavora su unità più piccole chiamate token, che possono essere una parola, una parte di parola o un segno di punteggiatura. Quando si parla di token al secondo si misura quante di queste unità il sistema produce in un secondo. Il numero dipende dalla lingua, dal testo e dal modo in cui il testo viene spezzato, quindi lo stesso valore non vale per tutti i contenuti.

Per una decisione aziendale questo significa che un confronto tra due numeri ha senso solo se i due sistemi lavorano in condizioni simili: stessa lingua, stessa lunghezza delle risposte, stesso numero di utenti. Senza queste condizioni il numero è solo una cifra, non una misura. Chiedi sempre a quali condizioni è stato rilevato. Un confronto onesto richiede la stessa tabella di condizioni per tutte le offerte.

2. Latenza e throughput non sono la stessa cosa

La latenza è il tempo che un utente aspetta. Due misure sono le più utili: il tempo prima della prima parola, cioè quanto passa dall'invio della domanda a quando compare il primo pezzo di risposta, e il tempo complessivo per completare la risposta. Il throughput, invece, è la quantità di lavoro che il sistema completa nell'unità di tempo, sommando tutte le richieste.

Un sistema può avere un throughput alto e una latenza scomoda, oppure il contrario. Se molti utenti lavorano insieme, il sistema può servire più richieste ma ciascuna arriva più lenta. Chi usa il servizio sente la latenza, chi gestisce l'infrastruttura guarda il throughput. Un progetto serio considera entrambe e dichiara quale delle due prevale nelle scelte. Se il servizio serve un gruppo che lavora in parallelo, la stabilità dei tempi conta quanto la velocità.

3. La concorrenza cambia i numeri

La concorrenza è il numero di richieste che il sistema lavora nello stesso momento. Più richieste insieme aumentano il lavoro complessivo che la scheda grafica riesce a svolgere, ma ogni richiesta può rallentare, perché le risorse vanno divise. Il punto in cui il sistema è più efficiente non coincide necessariamente con il punto in cui la risposta è più rapida per l'utente.

Per questo un valore di token al secondo misurato con una sola richiesta è poco utile per un servizio condiviso. Serve sapere come cambiano latenza e throughput quando aumenta il carico, fino a quale livello il servizio resta accettabile e cosa succede oltre. Chiedi al fornitore un grafico o una tabella che mostri questo andamento, con le condizioni dichiarate. Senza questo andamento non si capisce quando il sistema smette di essere utile.

4. Come leggere le misure dichiarate

Quando leggi una scheda di prestazioni, controlla alcuni elementi: il modello e la sua versione, la precisione usata, la lunghezza del contesto, la lunghezza delle risposte, il numero di richieste parallele e l'hardware. Se uno di questi manca, la misura non è confrontabile. Diffida dei numeri senza condizioni, perché possono essere stati ottenuti con richieste brevi o con un solo utente alla volta.

Anche il modo in cui è stata fatta la misura conta. Una prova fatta appena avviato il sistema può differire da una misura a regime. Chiedi se il dato include il tempo di caricamento, se è una media su più prove e in quali condizioni è stato rilevato. Un fornitore affidabile risponde a queste domande senza difficoltà. Se non lo fa, la misura va trattata come indicativa, non come impegno.

MisuraCosa indicaDomanda da fare
Tempo prima della prima parolaQuanto attende l'utente prima che la risposta iniziCome è misurato con più utenti attivi?
Token al secondo per richiestaVelocità di scrittura percepita da un singolo utenteA quale lunghezza di risposta è riferito?
Throughput complessivoQuantità di lavoro completata dal sistemaCon quante richieste parallele è stato ottenuto?
Tempo di risposta completoAttesa totale per una risposta interaInclude il recupero dei documenti e i controlli di accesso?

5. Idee sbagliate comuni

La prima idea sbagliata è che più token al secondo significhi sempre un servizio migliore. Se il sistema è molto veloce ma serve pochi utenti per volta, per un ufficio con molte persone può essere insufficiente. La seconda è che la latenza dipenda solo dalla scheda grafica. In realtà incidono anche la rete interna, il recupero dei documenti, i controlli di accesso e la coda delle richieste.

La terza è che il tempo di risposta sia costante. Varia con la lunghezza della domanda, del contesto e della risposta, e con il carico del momento. La quarta è che un sistema più potente risolva ogni problema. Se il collo di bottiglia è nel recupero dei documenti, aggiungere potenza di calcolo non cambia la percezione dell'utente. Prima di comprare hardware, misura dove si perde il tempo.

6. Un esempio generico

Un team deve scegliere tra due configurazioni per un assistente interno. La prima risponde molto rapidamente a un utente, ma rallenta quando in molti lavorano insieme. La seconda è un po' più lenta per singola richiesta, ma mantiene tempi accettabili con un gruppo più grande. Il team non ragiona sul numero più alto, ma sul numero di persone che lavorano contemporaneamente.

Prima di decidere, il team fa una prova con un gruppo di colleghi che simula il lavoro reale, e registra il tempo prima della prima parola e il tempo di risposta completo. La seconda configurazione risulta più stabile nei momenti di picco. Il team la sceglie e documenta il limite oltre il quale servirà un'espansione, senza promettere che il sistema regga qualunque carico.

7. Come iniziare

Questa settimana, definisci per iscritto quale esperienza ti interessa garantire: quanto può durare al massimo l'attesa prima della prima parola e quanti utenti lavorano insieme nelle ore di punta. Queste due frasi valgono più di qualsiasi numero di scheda, perché ti danno un criterio per giudicare le offerte. Scrivile sulla stessa pagina della scheda dei casi d'uso, così restano legate alle decisioni.

Poi chiedi al fornitore di misurare il sistema con questi criteri, usando i tuoi tipi di domanda, e di riportare latenza e throughput insieme. Se rifiuta o propone solo un valore di picco, prendi nota. Confronta i risultati con la stessa tabella per ogni offerta: la trasparenza su queste misure è un buon indicatore del modo in cui il fornitore lavora.

Domande frequenti

Che cosa significa token al secondo?

Indica quante unità di testo, chiamate token, il sistema produce in un secondo. Il valore cambia con il modello, la lingua, la lunghezza delle risposte e l'hardware, e va letto insieme alle condizioni di misura. Da solo non dice quanto sarà rapido il servizio per i tuoi utenti, perché non tiene conto del numero di richieste che lavorano insieme e dei tempi di recupero dei documenti.

Qual è la differenza tra latenza e throughput?

La latenza è il tempo che un singolo utente aspetta. Il throughput è il lavoro complessivo che il sistema completa nel tempo, sommando tutte le richieste. Un sistema può servire molte persone con un throughput alto e far attendere ciascuna più del previsto. Per questo un servizio aziendale va valutato su entrambe le misure, sotto un carico realistico.

Quanti utenti può reggere un server LLM?

Non esiste una risposta valida per tutti. Dipende dal modello, dall'hardware, dalla lunghezza dei contesti e dalla tolleranza all'attesa del tuo gruppo. La risposta corretta si ottiene con una prova che simula il lavoro reale. Chiedi al fornitore di dichiarare il limite entro cui il servizio resta accettabile e cosa succede oltre quel limite.

Il tempo di risposta dipende dalla domanda?

Sì. Domande più lunghe, contesti più ampi e risposte più estese richiedono più lavoro e quindi più tempo. Anche il recupero dei documenti e i controlli di accesso aggiungono attesa. Conviene misurare il tempo con esempi tipici del tuo uso, e non solo con domande brevi preparate per la dimostrazione.

Un numero più alto di token al secondo garantisce un servizio migliore?

No. Un valore più alto indica una velocità di scrittura maggiore in certe condizioni, ma non garantisce tempi bassi quando il sistema è occupato. Un servizio migliore è quello che mantiene tempi accettabili per il tuo gruppo di utenti nelle ore di punta. Valuta il risultato sull'esperienza reale, non sul singolo numero.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →