GUIDA · LLM ON PREM

Monitoraggio di un LLM in produzione: cosa osservare

Un servizio LLM può essere raggiungibile e restituire risposte sbagliate allo stesso tempo. Questa guida spiega cosa osservare in produzione, come impostare avvisi utili senza farsi sommergere e chi deve rispondere quando qualcosa va storto. Alla fine avrai una lista concreta di controlli da attivare nelle prossime settimane.

Aggiornata a ottobre 2026
7 min di lettura
Redazione Tecnica Altovar

1. Perché il monitoraggio di un LLM è diverso

In un servizio web tradizionale il controllo più importante è se la pagina risponde. Per un LLM non basta. Il sistema può essere raggiungibile, con tempi regolari, e produrre risposte inventate, incomplete o non pertinenti. Un monitoraggio limitato alla disponibilità vede solo metà del problema, e l'altra metà emerge quando un utente segnala che il sistema non è più affidabile.

Il monitoraggio deve quindi coprire tre piani: l'infrastruttura, cioè i server e le schede; il servizio, cioè le richieste, i tempi e gli errori; la qualità, cioè se le risposte restano adeguate nel tempo. Ciascun piano richiede strumenti e responsabili diversi, e nessuno dei tre sostituisce gli altri. Chi guarda solo il primo piano si accorge dei problemi quando qualcuno se ne lamenta.

2. Prerequisiti: cosa deve essere pronto

Prima di costruire il monitoraggio bisogna sapere cosa si sta osservando. Serve un elenco dei componenti del servizio: il modello e la sua versione, il sistema che riceve le richieste, il recupero dei documenti se presente, i controlli di accesso e lo storage dei log. Senza questo elenco le metriche finiscono per coprire solo ciò che è più facile da misurare.

Serve anche una regola chiara su cosa si registra. I log possono contenere domande e risposte con dati personali, quindi vanno definiti i campi da conservare, il periodo di conservazione e chi può consultarli. Concorda queste regole con il responsabile della protezione dei dati prima di attivare la raccolta, perché il monitoraggio va progettato insieme alla protezione dei dati, non aggiunto dopo.

3. Le metriche da osservare

Le metriche si dividono in alcune famiglie principali. La tabella indica quelle più utili per partire, senza pretendere di coprirle tutte. Per ciascuna definisci una soglia di riferimento scelta con chi usa il servizio, non copiata da un valore generico. Una soglia senza una persona che la approva diventa presto rumore di fondo. Definisci anche chi decide di cambiarla, e con quale motivazione.

Scegli poche metriche e leggile con continuità. Un cruscotto con decine di grafici non aiuta chi deve decidere in fretta. Meglio pochi indicatori che tutti sanno interpretare, con una nota su cosa fare quando cambiano. Ogni indicatore dovrebbe avere un proprietario che lo guarda con una cadenza definita. Se nessuno lo guarda, va tolto dal cruscotto. Il proprietario è anche la persona che propone un indicatore nuovo quando serve.

AreaCosa misurarePerché conta
DisponibilitàQuanto tempo il servizio risponde correttamenteDice se gli utenti possono lavorare
Tempi di rispostaAttesa prima della prima parola e tempo complessivoMostra l'esperienza percepita, soprattutto nei picchi
ErroriRichieste fallite, tempi scaduti e risposte vuoteSegnala guasti applicativi o di capacità
Carico e codeRichieste in attesa e concorrenza nel tempoAnticipa la saturazione prima che i tempi esplodano
Risorse fisicheMemoria della scheda, temperatura e uso del calcoloCollega il servizio all'infrastruttura sottostante
QualitàSegnalazioni degli utenti e risultati dei test periodiciMostra se le risposte restano adeguate

4. Impostare gli avvisi

Un avviso è utile solo se qualcuno sa cosa fare quando scatta. Per questo ogni avviso deve avere una soglia spiegata, un destinatario e un'azione prevista. Gli avvisi che non portano a un'azione vanno eliminati o trasformati in indicatori da leggere periodicamente, altrimenti generano l'abitudine a ignorarli. Un avviso che scatta ogni notte senza motivo verrà ignorato anche quando è importante.

Distingui tra avvisi urgenti, che richiedono intervento subito, e segnali da esaminare nel giro di poco tempo. Le regole seguenti sono un punto di partenza da adattare. Rivedile dopo le prime settimane di uso reale, quando hai visto quali scattano per errore e quali mancano. Le modifiche vanno annotate, con data e motivo, in modo che il team sappia perché una soglia è cambiata.

  1. Avvisa subito il reperibile quando il servizio non risponde o restituisce solo errori in modo continuo.
  2. Avvisa quando i tempi di risposta superano la soglia concordata per un periodo più lungo di un picco normale.
  3. Avvisa quando la memoria della scheda o la temperatura si avvicinano ai limiti indicati dal produttore.
  4. Avvisa quando le richieste in coda crescono in modo stabile, prima che la coda diventi visibile agli utenti.
  5. Segnala a chi gestisce il servizio le variazioni della quota di risposte giudicate non adeguate dagli utenti.
  6. Registra ogni cambio di versione del modello come evento, così da collegarlo alle eventuali variazioni dei dati.
  7. Verifica periodicamente che ogni avviso sia ancora utile e che il destinatario sia ancora in servizio.

5. Misurare la qualità, non solo la disponibilità

La qualità è la parte più difficile da monitorare, perché non si misura con un semplice contatore. Due strade sono praticabili: raccogliere le segnalazioni degli utenti con un modo semplice per indicare una risposta sbagliata, e ripetere periodicamente il test di regressione su un insieme di domande fisse. La seconda è più affidabile, perché confronta sempre le stesse condizioni. Il risultato va letto in confronto con il precedente, non da solo.

Il test periodico va eseguito anche quando il sistema sembra funzionare bene. Un cambiamento silenzioso di una dipendenza, un aggiornamento del recupero documenti o una modifica di configurazione può alterare le risposte senza generare alcun errore. Registra i risultati nel tempo e chiedi a chi conosce il dominio di rivederli. Se i risultati peggiorano senza un cambio dichiarato, la causa va cercata nelle dipendenze del servizio.

6. Errori comuni e come verificare

Un errore frequente è misurare solo l'infrastruttura e considerare il servizio sano quando i server sono accesi. Un altro è avere molti avvisi e nessun responsabile, o responsabili che non sanno cosa fare. Il terzo è raccogliere log con dati personali senza una regola di conservazione, scoprendo il problema solo durante una verifica. Chiedi al responsabile della protezione dei dati di rivedere la regola prima di attivare la raccolta.

Per verificare che il monitoraggio funzioni, provoca un guasto controllato in ambiente di prova: ferma un componente o simula un rallentamento. Controlla che l'avviso arrivi alla persona giusta, che la persona sappia cosa fare e che la diagnosi sia possibile con i dati raccolti. Se una di queste tre cose manca, il monitoraggio non è ancora pronto. Documenta l'esito in una riga, con data e responsabile.

7. Come iniziare

Questa settimana scrivi l'elenco dei componenti del servizio e assegna a ciascuno un responsabile del monitoraggio. Poi scegli cinque indicatori dalla tabella e definisci per ciascuno chi lo guarda e con quale cadenza. Questo passaggio richiede poche ore e cambia subito la qualità della gestione. Non serve aspettare uno strumento perfetto per cominciare. Una prima versione semplice, usata ogni giorno, serve più di un progetto perfetto ancora in attesa.

Il giorno dopo chiedi al fornitore quali dati raccoglie già, dove li conserva, per quanto tempo e chi vi accede. Le risposte dicono molto sulla maturità dell'offerta e ti aiutano a capire quali indicatori sono disponibili subito e quali vanno costruiti. Annota anche cosa non è chiaro, perché sarà il primo punto da chiudere. Un fornitore che non sa rispondere su questi punti va valutato con più attenzione.

Domande frequenti

Un servizio che risponde è un servizio sano?

Non necessariamente. Un sistema può rispondere in tempo e produrre risposte errate o incomplete, senza che nessun contatore se ne accorga. La disponibilità è un controllo necessario ma non sufficiente. Affianca alle metriche tecniche un controllo periodico della qualità, con un insieme di domande fisse e risposte giudicate corrette.

Quante metriche devo monitorare?

Poche e ben scelte. Un numero ridotto di indicatori letti con regolarità serve più di un cruscotto pieno di grafici che nessuno guarda. Parti dalle aree essenziali: disponibilità, tempi, errori, carico e qualità. Aggiungine altre solo quando hai una domanda precisa a cui rispondono.

Posso usare gli strumenti di monitoraggio già presenti in azienda?

Spesso sì, per gli aspetti di infrastruttura e disponibilità. Gli indicatori specifici dei modelli, come i tempi prima della prima parola o la qualità delle risposte, possono richiedere una raccolta dedicata. Verifica con il fornitore cosa è già disponibile e cosa va costruito, e non dare per scontato che uno strumento generico copra tutto.

I log delle conversazioni vanno conservati?

Dipende dallo scopo e dalla regola che decidi insieme al responsabile della protezione dei dati. Per diagnosticare problemi può servire conservare una parte dei dati per un periodo limitato, ma non necessariamente tutto il testo delle conversazioni. Definisci quali campi raccogliere, chi può consultarli e quando vengono cancellati.

Chi deve ricevere gli avvisi?

Il reperibile tecnico per i guasti e il responsabile del servizio per i problemi di qualità o di utilizzo. Chi riceve un avviso deve sapere cosa fare e a chi passare la questione se non riesce a risolverla. Gli avvisi che arrivano a più persone senza un responsabile chiaro tendono a non essere gestiti da nessuno.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →