GUIDA · RAG E BASE DI CONOSCENZA

Valutare un sistema RAG: come testare accuratezza e citazioni

Alla fine di questa guida saprai costruire un insieme di test per un sistema RAG, misurare separatamente il recupero dei documenti e la fedeltà delle risposte, verificare le citazioni e decidere se il sistema è pronto per l'uso. Il metodo vale per qualunque fornitore o architettura.

Aggiornata a ottobre 2026
7 min di lettura
Redazione Tecnica Altovar

1. Perché la valutazione viene prima dell'uso

Una risposta generata è quasi sempre scritta bene. Il fatto che suoni corretta non dice nulla sulla sua correttezza. Un sistema RAG può citare il documento sbagliato, recuperare la parte giusta e riassumerla male, oppure rispondere con sicurezza a una domanda che la base non copre. Senza una misura, questi errori si scoprono quando qualcuno agisce sull'informazione sbagliata, cioè nel momento peggiore e con il costo più alto.

La valutazione è quindi la condizione per l'apertura del sistema, non un controllo da fare alla fine del progetto. Serve anche a confrontare fornitori, modelli e configurazioni con lo stesso metro, e a decidere quando un cambiamento migliora davvero la base. Senza un metro comune, ogni dimostrazione sembra convincente, perché viene costruita sulle domande che funzionano meglio. Lo stesso metro serve anche a chi approva il progetto.

2. Prerequisiti: domande, risposte di riferimento e documenti

Il test si costruisce con materiale reale. Raccogli domande che i colleghi farebbero davvero, incluse quelle ambigue, quelle formulate in modo informale e quelle a cui la base non deve rispondere. Per ogni domanda indica la risposta attesa e il documento che la contiene, con la sezione precisa. Un test costruito su domande scelte solo tra quelle facili misura la facilità del test, non la qualità del sistema.

Il materiale va approvato dal responsabile dei contenuti, perché un test costruito su risposte sbagliate misura l'errore con sicurezza. Tieni il test separato dai documenti usati per le prove di presentazione del fornitore, altrimenti la valutazione diventa un esercizio di memoria e non di qualità. Conserva una versione datata del test, da riusare dopo ogni modifica al sistema. Indica anche chi è autorizzato a modificarlo.

3. I passi per costruire la valutazione

La valutazione segue una sequenza precisa. Ogni passo produce un dato che serve a interpretare il successivo, quindi non saltare la costruzione del materiale di riferimento. Eseguila sempre con la stessa procedura, così i risultati sono confrontabili nel tempo. Chi esegue il test non dovrebbe essere la stessa persona che ha configurato il sistema, perché tende a cercare conferme di ciò che ha costruito.

Documenta ogni passo in un registro semplice, con data, versione dei documenti, versione del modello e persona che ha eseguito la prova. Senza questo registro, due risultati diversi non si possono spiegare, e la discussione si sposta sulle impressioni invece che sui dati. Il registro è il modo più semplice per rendere ripetibile la valutazione anche quando cambia il personale che la esegue, e per dimostrare a posteriori come è stato ottenuto un risultato.

  1. Costruisci l'insieme di domande con le risposte di riferimento e il documento di origine.
  2. Esegui solo la ricerca dei brani e registra quali documenti vengono recuperati per ciascuna domanda.
  3. Confronta i brani recuperati con quelli attesi e calcola in quante domande compare il documento giusto.
  4. Esegui il sistema completo e confronta la risposta generata con la risposta di riferimento.
  5. Controlla che ogni affermazione della risposta sia sostenuta dal brano citato.
  6. Annota gli errori per tipo: ricerca mancante, risposta infedele, citazione errata, rifiuto inutile.
  7. Ripeti la stessa procedura dopo ogni modifica significativa e confronta i risultati.

4. Metriche da seguire

Le misure non vanno ridotte a un unico punteggio. Un punteggio medio nasconde il problema: un sistema può trovare quasi sempre il documento giusto e inventare dettagli nella risposta, oppure il contrario. Tieni separati i segnali, e per ciascuno definisci in anticipo che cosa ti preoccuperebbe. Un valore accettabile su un segnale non giustifica un difetto su un altro, perché ciascun difetto ha una causa e una correzione diverse.

Per la gestione dei limiti conta quanto il sistema si astiene. Una base che risponde sempre sembra più utile, ma è più pericolosa, perché trasforma le lacune dei documenti in risposte sicure. Un rifiuto corretto è un risultato positivo del test. Documenta il comportamento atteso per ciascuna misura prima di eseguire la valutazione, così il giudizio non dipende dall'impressione del momento.

Cosa misuriDomanda a cui rispondeSegnale di problema
Recupero dei braniIl documento giusto compare tra i risultati?Documenti corretti assenti per domande frequenti
Fedeltà della rispostaLa risposta dice solo ciò che il testo sostiene?Dettagli non presenti nel documento, cifre o date diverse
Qualità delle citazioniLa fonte indicata contiene davvero l'informazione?Citazioni che puntano a sezioni vicine ma non pertinenti
Gestione dei limitiIl sistema dichiara quando la base non risponde?Risposte sicure su argomenti non coperti

5. Errori comuni nella valutazione

Il primo errore è valutare solo con domande facili, scelte tra quelle che il sistema gestisce già. Il secondo è usare il giudizio di un'unica persona, che tende a considerare corretta una risposta che conosce già. Il terzo è cambiare contemporaneamente modello, documenti e istruzioni, così non si sa quale modifica ha prodotto il miglioramento o il peggioramento osservato. Ogni modifica va valutata da sola, anche se richiede più tempo.

Il quarto è confondere la velocità con la qualità. Una risposta rapida e ben formattata può essere sbagliata, e l'impressione di efficienza non è una misura. Il quinto è non aggiornare il test quando cambiano i documenti, con il risultato che la valutazione misura una base che non esiste più. Rivedi il test insieme ai responsabili dei contenuti a ogni aggiornamento importante della base.

6. Quando la valutazione è affidabile

Una valutazione è affidabile quando due persone diverse ottengono lo stesso giudizio sulle stesse risposte. Chiedi a due valutatori di classificare un campione in modo indipendente e confronta i risultati. I punti di disaccordo indicano domande ambigue o criteri poco chiari, e vanno chiariti prima di misurare il sistema, altrimenti il numero finale non significa nulla di preciso. Dichiara anche il criterio con cui hai scelto i casi difficili.

Usa il giudizio umano sui casi difficili e i controlli automatici solo dove il risultato è facile da verificare. Dichiara nella documentazione quali misure sono automatiche e quali manuali. Se il fornitore propone solo punteggi automatici, chiedi di vedere gli esempi che li hanno prodotti, perché è lì che si capisce se il punteggio misura davvero la qualità. Anche la scelta dei valutatori va documentata.

7. Come iniziare

Questa settimana raccogli un primo insieme di domande reali, con le risposte attese e i documenti di riferimento, e fallo approvare dal responsabile dei contenuti. Non serve un insieme completo per iniziare: serve un insieme rappresentativo dei casi più frequenti e di quelli più rischiosi, con le domande su cui una risposta sbagliata avrebbe conseguenze reali. Un insieme piccolo ma ben scelto è già utile per un primo quadro.

Eseguilo sul sistema prima del lancio e conserva il risultato come riferimento per le modifiche future. Il primo confronto ti dirà subito dove concentrare il lavoro, e darà una base comune per discutere con il fornitore senza dipendere dalle impressioni. Mostra il risultato al responsabile dei contenuti e discutine i casi più critici, così la prima valutazione diventa un riferimento condiviso e non una prova isolata del tecnico.

Domande frequenti

Esiste un punteggio unico per valutare un RAG?

Non in modo affidabile. Un punteggio unico mescola problemi diversi e nasconde quale parte del sistema sbaglia. Conviene tenere separati il recupero dei documenti, la fedeltà della risposta e la qualità delle citazioni. Un punteggio di sintesi può essere utile per un cruscotto, ma non per decidere.

Possiamo usare l'AI per valutare le risposte dell'AI?

Può aiutare a velocizzare il lavoro, ma non sostituisce il giudizio umano sui casi difficili. Un valutatore automatico può sbagliare nello stesso modo del sistema che valuta. Usalo per segnalare le risposte da rivedere e verifica periodicamente che il suo giudizio coincida con quello di una persona.

Quanto spesso va ripetuta la valutazione?

Ogni volta che cambia qualcosa di rilevante: documenti, modello, istruzioni, permessi o configurazione della ricerca. Conviene anche una verifica periodica, perché la base invecchia. La frequenza va stabilita con il responsabile dei contenuti, in base a quanto spesso cambiano i documenti.

Cosa fare se il sistema sbaglia spesso sulle citazioni?

Verifica prima se il problema è nella divisione dei testi o nei metadati. Una citazione può puntare alla sezione sbagliata perché il taglio ha separato il contesto. Se la fonte è corretta ma la risposta non lo è, il problema è nella generazione. Distinguere i due casi evita correzioni inutili.

Il test va fatto anche prima dell'acquisto?

Sì, ed è il modo migliore per confrontare i fornitori. Chiedi di eseguire lo stesso insieme di domande su ciascuna proposta, con i tuoi documenti o un campione rappresentativo. Il risultato va documentato e allegato alla decisione, così resta chiaro su quali basi è stata presa.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →