1. Cosa si intende per allucinazione
Si parla di allucinazione quando un modello linguistico produce un'informazione falsa o inventata, presentandola con la stessa forma sicura di una risposta corretta. Può citare una norma che non esiste, attribuire una frase a una persona che non l'ha mai detta, inventare un riferimento bibliografico o descrivere una procedura che l'azienda non ha. Il termine è una metafora, ma il fenomeno è concreto e ben documentato in tutti i modelli di questo tipo.
Il punto che sorprende di più chi inizia a usare questi sistemi è che l'errore non si segnala da solo. Il testo appare fluido, ordinato e plausibile, e non esiste un indicatore che distingua una risposta giusta da una sbagliata. Per questo il controllo non può essere affidato alla sensazione di chi legge, soprattutto quando la persona non conosce già l'argomento.
2. Perché un modello può sbagliare con sicurezza
Un modello linguistico è addestrato a prevedere quale testo è più probabile dopo un altro. Non verifica in una base di dati la verità di ciò che scrive. Quando la domanda riguarda qualcosa ben rappresentato nei dati di addestramento, la risposta è spesso corretta. Quando riguarda un dettaglio raro, un documento interno che non è stato fornito o un'informazione recente, il modello può riempire il vuoto con una risposta verosimile.
Anche il modo in cui è posta la domanda conta. Una richiesta che presuppone una risposta, come chiedere perché un fatto avvenga quando il fatto non è vero, invita il modello a costruire una spiegazione. Un contesto incompleto o contraddittorio produce lo stesso effetto. Capire questi meccanismi aiuta a progettare domande e controlli più prudenti. Per questo le domande andrebbero formulate in modo neutro, lasciando al sistema la possibilità di dire che non lo sa.
3. Dove il rischio è più alto
Non tutte le risposte hanno lo stesso rischio. Il rischio cresce quando l'errore è difficile da notare o quando la risposta entra in una decisione o in un documento esterno. La tabella indica alcune categorie comuni. Il livello di verifica va scelto in base alle conseguenze di un errore, non in base alla sicurezza apparente del testo. Chi usa il sistema dovrebbe poter riconoscere da solo la categoria di una risposta.
Le categorie ad alto rischio non vanno evitate del tutto. Vanno trattate come bozze che una persona controlla con la fonte davanti. Il sistema può accelerare il lavoro, ma la responsabilità del contenuto resta di chi lo firma o lo invia. Un riassunto di un documento fornito, per esempio, richiede un controllo leggero, mentre una citazione di norma richiede sempre la verifica sul testo ufficiale, anche quando sembra corretta.
| Tipo di contenuto | Rischio di errore | Verifica consigliata |
|---|---|---|
| Riassunti di testi forniti | Basso, se il testo sorgente è presente | Controllo a campione con il testo originale |
| Bozze di comunicazioni generiche | Medio | Revisione di una persona competente prima dell'invio |
| Citazioni di norme, contratti o procedure | Alto | Verifica sul testo ufficiale o con un consulente |
| Cifre, date e dati tecnici | Alto | Confronto con la fonte primaria prima di usarli |
| Risposte a clienti su condizioni o prezzi | Alto | Controllo sui documenti aggiornati e approvazione |
4. Come ridurre le allucinazioni
Il modo più efficace per ridurre le allucinazioni è collegare il modello a fonti verificate e chiedere che le risposte si basino su di esse. Quando il sistema recupera i passaggi di documenti aziendali prima di rispondere, ha un riferimento concreto e può indicare da dove viene l'informazione. Se la fonte non c'è, il sistema dovrebbe dichiarare di non saperlo invece di inventare. Questo comportamento va verificato con prove, non dato per scontato.
Altre scelte aiutano. Restringi il perimetro dei compiti: un sistema pensato per rispondere su un manuale è più affidabile di uno generico. Chiedi risposte strutturate e con riferimenti, che si possano controllare. Mantieni aggiornate le fonti, perché un documento obsoleto produce errori che sembrano corretti. Infine, usa impostazioni di generazione prudenti quando il compito richiede precisione più che creatività. Anche la scelta di quali domande accettare è un controllo: meno il perimetro è ampio, più facile è verificare.
5. Come controllare le risposte nel tempo
La verifica non si esaurisce al primo test. Costruisci un insieme di domande reali, con le risposte corrette note, e usalo ogni volta che cambiano il modello, le fonti o la configurazione. Misura quante risposte sono corrette, quante parziali e quante sbagliate. I numeri vanno letti con cautela, ma il loro andamento nel tempo indica se il sistema sta peggiorando.
Il controllo umano va progettato, non lasciato alla buona volontà. Chi revisiona deve sapere che cosa controllare, avere accesso alla fonte e avere il tempo di farlo. Se la revisione è troppo lenta, le persone smettono di farla e il controllo diventa formale. Definisci chi rivede quali contenuti e come si registrano gli errori trovati. Un test ben costruito è più utile di una lunga discussione sulle impressioni.
6. Errori comuni
Il primo errore è fidarsi della fluidità del testo. Il secondo è credere che una risposta con fonti citate sia per questo corretta: anche le fonti possono essere inventate, se il sistema non le recupera davvero da un archivio. Verifica che il riferimento esista e che dica davvero ciò che il sistema afferma. Il rischio è più alto quando la risposta è lunga e ben argomentata.
Il terzo errore è non registrare gli errori. Quando un'informazione sbagliata viene scoperta, andrebbe annotata con il contesto: la domanda, la risposta e la fonte corretta. Questi casi sono la base per migliorare istruzioni e fonti. Il quarto è pensare che il problema si risolva con un modello più grande: la qualità dipende soprattutto da fonti, perimetro e controlli. Se gli errori non vengono annotati, ogni nuovo caso ricomincia da zero.
7. Come iniziare
Questa settimana scegli un caso d'uso già in corso e prepara venti domande reali, con le risposte corrette verificate da qualcuno che conosce l'argomento. Esegui il sistema su queste domande e annota gli errori con la categoria di rischio della tabella della sezione tre. Il risultato ti mostra dove servono fonti migliori e dove serve una revisione obbligatoria. Non serve un campione statistico: venti domande ben scelte mostrano già molto.
Poi definisci una regola semplice: quali tipi di risposta non possono essere inviati all'esterno senza revisione. Scrivila nella procedura del caso d'uso e comunicala a chi lo usa. Un controllo semplice e applicato è più utile di un sistema sofisticato che nessuno verifica. Il responsabile del caso d'uso deve firmare questa regola e verificarne l'applicazione nel tempo, insieme a chi revisiona i contenuti.
Domande frequenti
Le allucinazioni si possono eliminare del tutto?
Non in modo garantito. Si possono ridurre con fonti collegate, perimetro ristretto e controlli, ma un modello può sempre produrre un'informazione errata. Per questo la domanda pratica non è se il sistema sbaglia, ma dove può sbagliare e chi se ne accorge prima che il danno si produca.
Basta chiedere al modello di non inventare?
Un'istruzione del genere aiuta, ma non è una garanzia. Il sistema può comunque rispondere con sicurezza a domande fuori dal suo perimetro. È più efficace prevedere che il sistema dichiari quando non trova una fonte, e affiancare a questo una verifica dei risultati da parte di persone competenti.
Le citazioni generate dal sistema sono affidabili?
Vanno verificate una per una. Una citazione può essere reale, parzialmente corretta o completamente inventata. Controlla che il documento esista, che contenga il passaggio citato e che il contenuto sia usato nel modo corretto. Per norme e contratti il riferimento ufficiale resta quello da consultare.
Chi è responsabile di un errore generato dal sistema?
La responsabilità resta di chi firma, invia o usa il contenuto nel proprio lavoro, non del sistema. Per questo la procedura deve dire chi revisiona cosa e con quale fonte. Gli aspetti giuridici e contrattuali vanno verificati con un consulente, perché dipendono dal caso concreto e dal contratto con il fornitore.
Un fornitore può garantire un livello di errore basso?
Chiedi che cosa significa in pratica. Un livello di errore dipende dal tipo di domande, dalle fonti e dal modo in cui viene misurato. Un dato generico non ha valore senza un test sul tuo caso reale. Chiedi di poter eseguire una prova con domande tue prima di decidere.