1. Perché il monitoraggio di un LLM è diverso
In un servizio web tradizionale il controllo più importante è se la pagina risponde. Per un LLM non basta. Il sistema può essere raggiungibile, con tempi regolari, e produrre risposte inventate, incomplete o non pertinenti. Un monitoraggio limitato alla disponibilità vede solo metà del problema, e l'altra metà emerge quando un utente segnala che il sistema non è più affidabile.
Il monitoraggio deve quindi coprire tre piani: l'infrastruttura, cioè i server e le schede; il servizio, cioè le richieste, i tempi e gli errori; la qualità, cioè se le risposte restano adeguate nel tempo. Ciascun piano richiede strumenti e responsabili diversi, e nessuno dei tre sostituisce gli altri. Chi guarda solo il primo piano si accorge dei problemi quando qualcuno se ne lamenta.
2. Prerequisiti: cosa deve essere pronto
Prima di costruire il monitoraggio bisogna sapere cosa si sta osservando. Serve un elenco dei componenti del servizio: il modello e la sua versione, il sistema che riceve le richieste, il recupero dei documenti se presente, i controlli di accesso e lo storage dei log. Senza questo elenco le metriche finiscono per coprire solo ciò che è più facile da misurare.
Serve anche una regola chiara su cosa si registra. I log possono contenere domande e risposte con dati personali, quindi vanno definiti i campi da conservare, il periodo di conservazione e chi può consultarli. Concorda queste regole con il responsabile della protezione dei dati prima di attivare la raccolta, perché il monitoraggio va progettato insieme alla protezione dei dati, non aggiunto dopo.
3. Le metriche da osservare
Le metriche si dividono in alcune famiglie principali. La tabella indica quelle più utili per partire, senza pretendere di coprirle tutte. Per ciascuna definisci una soglia di riferimento scelta con chi usa il servizio, non copiata da un valore generico. Una soglia senza una persona che la approva diventa presto rumore di fondo. Definisci anche chi decide di cambiarla, e con quale motivazione.
Scegli poche metriche e leggile con continuità. Un cruscotto con decine di grafici non aiuta chi deve decidere in fretta. Meglio pochi indicatori che tutti sanno interpretare, con una nota su cosa fare quando cambiano. Ogni indicatore dovrebbe avere un proprietario che lo guarda con una cadenza definita. Se nessuno lo guarda, va tolto dal cruscotto. Il proprietario è anche la persona che propone un indicatore nuovo quando serve.
| Area | Cosa misurare | Perché conta |
|---|---|---|
| Disponibilità | Quanto tempo il servizio risponde correttamente | Dice se gli utenti possono lavorare |
| Tempi di risposta | Attesa prima della prima parola e tempo complessivo | Mostra l'esperienza percepita, soprattutto nei picchi |
| Errori | Richieste fallite, tempi scaduti e risposte vuote | Segnala guasti applicativi o di capacità |
| Carico e code | Richieste in attesa e concorrenza nel tempo | Anticipa la saturazione prima che i tempi esplodano |
| Risorse fisiche | Memoria della scheda, temperatura e uso del calcolo | Collega il servizio all'infrastruttura sottostante |
| Qualità | Segnalazioni degli utenti e risultati dei test periodici | Mostra se le risposte restano adeguate |
4. Impostare gli avvisi
Un avviso è utile solo se qualcuno sa cosa fare quando scatta. Per questo ogni avviso deve avere una soglia spiegata, un destinatario e un'azione prevista. Gli avvisi che non portano a un'azione vanno eliminati o trasformati in indicatori da leggere periodicamente, altrimenti generano l'abitudine a ignorarli. Un avviso che scatta ogni notte senza motivo verrà ignorato anche quando è importante.
Distingui tra avvisi urgenti, che richiedono intervento subito, e segnali da esaminare nel giro di poco tempo. Le regole seguenti sono un punto di partenza da adattare. Rivedile dopo le prime settimane di uso reale, quando hai visto quali scattano per errore e quali mancano. Le modifiche vanno annotate, con data e motivo, in modo che il team sappia perché una soglia è cambiata.
- Avvisa subito il reperibile quando il servizio non risponde o restituisce solo errori in modo continuo.
- Avvisa quando i tempi di risposta superano la soglia concordata per un periodo più lungo di un picco normale.
- Avvisa quando la memoria della scheda o la temperatura si avvicinano ai limiti indicati dal produttore.
- Avvisa quando le richieste in coda crescono in modo stabile, prima che la coda diventi visibile agli utenti.
- Segnala a chi gestisce il servizio le variazioni della quota di risposte giudicate non adeguate dagli utenti.
- Registra ogni cambio di versione del modello come evento, così da collegarlo alle eventuali variazioni dei dati.
- Verifica periodicamente che ogni avviso sia ancora utile e che il destinatario sia ancora in servizio.
5. Misurare la qualità, non solo la disponibilità
La qualità è la parte più difficile da monitorare, perché non si misura con un semplice contatore. Due strade sono praticabili: raccogliere le segnalazioni degli utenti con un modo semplice per indicare una risposta sbagliata, e ripetere periodicamente il test di regressione su un insieme di domande fisse. La seconda è più affidabile, perché confronta sempre le stesse condizioni. Il risultato va letto in confronto con il precedente, non da solo.
Il test periodico va eseguito anche quando il sistema sembra funzionare bene. Un cambiamento silenzioso di una dipendenza, un aggiornamento del recupero documenti o una modifica di configurazione può alterare le risposte senza generare alcun errore. Registra i risultati nel tempo e chiedi a chi conosce il dominio di rivederli. Se i risultati peggiorano senza un cambio dichiarato, la causa va cercata nelle dipendenze del servizio.
6. Errori comuni e come verificare
Un errore frequente è misurare solo l'infrastruttura e considerare il servizio sano quando i server sono accesi. Un altro è avere molti avvisi e nessun responsabile, o responsabili che non sanno cosa fare. Il terzo è raccogliere log con dati personali senza una regola di conservazione, scoprendo il problema solo durante una verifica. Chiedi al responsabile della protezione dei dati di rivedere la regola prima di attivare la raccolta.
Per verificare che il monitoraggio funzioni, provoca un guasto controllato in ambiente di prova: ferma un componente o simula un rallentamento. Controlla che l'avviso arrivi alla persona giusta, che la persona sappia cosa fare e che la diagnosi sia possibile con i dati raccolti. Se una di queste tre cose manca, il monitoraggio non è ancora pronto. Documenta l'esito in una riga, con data e responsabile.
7. Come iniziare
Questa settimana scrivi l'elenco dei componenti del servizio e assegna a ciascuno un responsabile del monitoraggio. Poi scegli cinque indicatori dalla tabella e definisci per ciascuno chi lo guarda e con quale cadenza. Questo passaggio richiede poche ore e cambia subito la qualità della gestione. Non serve aspettare uno strumento perfetto per cominciare. Una prima versione semplice, usata ogni giorno, serve più di un progetto perfetto ancora in attesa.
Il giorno dopo chiedi al fornitore quali dati raccoglie già, dove li conserva, per quanto tempo e chi vi accede. Le risposte dicono molto sulla maturità dell'offerta e ti aiutano a capire quali indicatori sono disponibili subito e quali vanno costruiti. Annota anche cosa non è chiaro, perché sarà il primo punto da chiudere. Un fornitore che non sa rispondere su questi punti va valutato con più attenzione.
Domande frequenti
Un servizio che risponde è un servizio sano?
Non necessariamente. Un sistema può rispondere in tempo e produrre risposte errate o incomplete, senza che nessun contatore se ne accorga. La disponibilità è un controllo necessario ma non sufficiente. Affianca alle metriche tecniche un controllo periodico della qualità, con un insieme di domande fisse e risposte giudicate corrette.
Quante metriche devo monitorare?
Poche e ben scelte. Un numero ridotto di indicatori letti con regolarità serve più di un cruscotto pieno di grafici che nessuno guarda. Parti dalle aree essenziali: disponibilità, tempi, errori, carico e qualità. Aggiungine altre solo quando hai una domanda precisa a cui rispondono.
Posso usare gli strumenti di monitoraggio già presenti in azienda?
Spesso sì, per gli aspetti di infrastruttura e disponibilità. Gli indicatori specifici dei modelli, come i tempi prima della prima parola o la qualità delle risposte, possono richiedere una raccolta dedicata. Verifica con il fornitore cosa è già disponibile e cosa va costruito, e non dare per scontato che uno strumento generico copra tutto.
I log delle conversazioni vanno conservati?
Dipende dallo scopo e dalla regola che decidi insieme al responsabile della protezione dei dati. Per diagnosticare problemi può servire conservare una parte dei dati per un periodo limitato, ma non necessariamente tutto il testo delle conversazioni. Definisci quali campi raccogliere, chi può consultarli e quando vengono cancellati.
Chi deve ricevere gli avvisi?
Il reperibile tecnico per i guasti e il responsabile del servizio per i problemi di qualità o di utilizzo. Chi riceve un avviso deve sapere cosa fare e a chi passare la questione se non riesce a risolverla. Gli avvisi che arrivano a più persone senza un responsabile chiaro tendono a non essere gestiti da nessuno.