1. Cosa sono i token
Un modello non scrive parole intere, ma lavora su unità più piccole chiamate token, che possono essere una parola, una parte di parola o un segno di punteggiatura. Quando si parla di token al secondo si misura quante di queste unità il sistema produce in un secondo. Il numero dipende dalla lingua, dal testo e dal modo in cui il testo viene spezzato, quindi lo stesso valore non vale per tutti i contenuti.
Per una decisione aziendale questo significa che un confronto tra due numeri ha senso solo se i due sistemi lavorano in condizioni simili: stessa lingua, stessa lunghezza delle risposte, stesso numero di utenti. Senza queste condizioni il numero è solo una cifra, non una misura. Chiedi sempre a quali condizioni è stato rilevato. Un confronto onesto richiede la stessa tabella di condizioni per tutte le offerte.
2. Latenza e throughput non sono la stessa cosa
La latenza è il tempo che un utente aspetta. Due misure sono le più utili: il tempo prima della prima parola, cioè quanto passa dall'invio della domanda a quando compare il primo pezzo di risposta, e il tempo complessivo per completare la risposta. Il throughput, invece, è la quantità di lavoro che il sistema completa nell'unità di tempo, sommando tutte le richieste.
Un sistema può avere un throughput alto e una latenza scomoda, oppure il contrario. Se molti utenti lavorano insieme, il sistema può servire più richieste ma ciascuna arriva più lenta. Chi usa il servizio sente la latenza, chi gestisce l'infrastruttura guarda il throughput. Un progetto serio considera entrambe e dichiara quale delle due prevale nelle scelte. Se il servizio serve un gruppo che lavora in parallelo, la stabilità dei tempi conta quanto la velocità.
3. La concorrenza cambia i numeri
La concorrenza è il numero di richieste che il sistema lavora nello stesso momento. Più richieste insieme aumentano il lavoro complessivo che la scheda grafica riesce a svolgere, ma ogni richiesta può rallentare, perché le risorse vanno divise. Il punto in cui il sistema è più efficiente non coincide necessariamente con il punto in cui la risposta è più rapida per l'utente.
Per questo un valore di token al secondo misurato con una sola richiesta è poco utile per un servizio condiviso. Serve sapere come cambiano latenza e throughput quando aumenta il carico, fino a quale livello il servizio resta accettabile e cosa succede oltre. Chiedi al fornitore un grafico o una tabella che mostri questo andamento, con le condizioni dichiarate. Senza questo andamento non si capisce quando il sistema smette di essere utile.
4. Come leggere le misure dichiarate
Quando leggi una scheda di prestazioni, controlla alcuni elementi: il modello e la sua versione, la precisione usata, la lunghezza del contesto, la lunghezza delle risposte, il numero di richieste parallele e l'hardware. Se uno di questi manca, la misura non è confrontabile. Diffida dei numeri senza condizioni, perché possono essere stati ottenuti con richieste brevi o con un solo utente alla volta.
Anche il modo in cui è stata fatta la misura conta. Una prova fatta appena avviato il sistema può differire da una misura a regime. Chiedi se il dato include il tempo di caricamento, se è una media su più prove e in quali condizioni è stato rilevato. Un fornitore affidabile risponde a queste domande senza difficoltà. Se non lo fa, la misura va trattata come indicativa, non come impegno.
| Misura | Cosa indica | Domanda da fare |
|---|---|---|
| Tempo prima della prima parola | Quanto attende l'utente prima che la risposta inizi | Come è misurato con più utenti attivi? |
| Token al secondo per richiesta | Velocità di scrittura percepita da un singolo utente | A quale lunghezza di risposta è riferito? |
| Throughput complessivo | Quantità di lavoro completata dal sistema | Con quante richieste parallele è stato ottenuto? |
| Tempo di risposta completo | Attesa totale per una risposta intera | Include il recupero dei documenti e i controlli di accesso? |
5. Idee sbagliate comuni
La prima idea sbagliata è che più token al secondo significhi sempre un servizio migliore. Se il sistema è molto veloce ma serve pochi utenti per volta, per un ufficio con molte persone può essere insufficiente. La seconda è che la latenza dipenda solo dalla scheda grafica. In realtà incidono anche la rete interna, il recupero dei documenti, i controlli di accesso e la coda delle richieste.
La terza è che il tempo di risposta sia costante. Varia con la lunghezza della domanda, del contesto e della risposta, e con il carico del momento. La quarta è che un sistema più potente risolva ogni problema. Se il collo di bottiglia è nel recupero dei documenti, aggiungere potenza di calcolo non cambia la percezione dell'utente. Prima di comprare hardware, misura dove si perde il tempo.
6. Un esempio generico
Un team deve scegliere tra due configurazioni per un assistente interno. La prima risponde molto rapidamente a un utente, ma rallenta quando in molti lavorano insieme. La seconda è un po' più lenta per singola richiesta, ma mantiene tempi accettabili con un gruppo più grande. Il team non ragiona sul numero più alto, ma sul numero di persone che lavorano contemporaneamente.
Prima di decidere, il team fa una prova con un gruppo di colleghi che simula il lavoro reale, e registra il tempo prima della prima parola e il tempo di risposta completo. La seconda configurazione risulta più stabile nei momenti di picco. Il team la sceglie e documenta il limite oltre il quale servirà un'espansione, senza promettere che il sistema regga qualunque carico.
7. Come iniziare
Questa settimana, definisci per iscritto quale esperienza ti interessa garantire: quanto può durare al massimo l'attesa prima della prima parola e quanti utenti lavorano insieme nelle ore di punta. Queste due frasi valgono più di qualsiasi numero di scheda, perché ti danno un criterio per giudicare le offerte. Scrivile sulla stessa pagina della scheda dei casi d'uso, così restano legate alle decisioni.
Poi chiedi al fornitore di misurare il sistema con questi criteri, usando i tuoi tipi di domanda, e di riportare latenza e throughput insieme. Se rifiuta o propone solo un valore di picco, prendi nota. Confronta i risultati con la stessa tabella per ogni offerta: la trasparenza su queste misure è un buon indicatore del modo in cui il fornitore lavora.
Domande frequenti
Che cosa significa token al secondo?
Indica quante unità di testo, chiamate token, il sistema produce in un secondo. Il valore cambia con il modello, la lingua, la lunghezza delle risposte e l'hardware, e va letto insieme alle condizioni di misura. Da solo non dice quanto sarà rapido il servizio per i tuoi utenti, perché non tiene conto del numero di richieste che lavorano insieme e dei tempi di recupero dei documenti.
Qual è la differenza tra latenza e throughput?
La latenza è il tempo che un singolo utente aspetta. Il throughput è il lavoro complessivo che il sistema completa nel tempo, sommando tutte le richieste. Un sistema può servire molte persone con un throughput alto e far attendere ciascuna più del previsto. Per questo un servizio aziendale va valutato su entrambe le misure, sotto un carico realistico.
Quanti utenti può reggere un server LLM?
Non esiste una risposta valida per tutti. Dipende dal modello, dall'hardware, dalla lunghezza dei contesti e dalla tolleranza all'attesa del tuo gruppo. La risposta corretta si ottiene con una prova che simula il lavoro reale. Chiedi al fornitore di dichiarare il limite entro cui il servizio resta accettabile e cosa succede oltre quel limite.
Il tempo di risposta dipende dalla domanda?
Sì. Domande più lunghe, contesti più ampi e risposte più estese richiedono più lavoro e quindi più tempo. Anche il recupero dei documenti e i controlli di accesso aggiungono attesa. Conviene misurare il tempo con esempi tipici del tuo uso, e non solo con domande brevi preparate per la dimostrazione.
Un numero più alto di token al secondo garantisce un servizio migliore?
No. Un valore più alto indica una velocità di scrittura maggiore in certe condizioni, ma non garantisce tempi bassi quando il sistema è occupato. Un servizio migliore è quello che mantiene tempi accettabili per il tuo gruppo di utenti nelle ore di punta. Valuta il risultato sull'esperienza reale, non sul singolo numero.