1. Cosa rende i modelli linguistici diversi dal software tradizionale
Un modello linguistico riceve testo e produce testo. Non separa in modo netto ciò che è dato da ciò che è istruzione: le regole del sistema e i documenti letti durante il lavoro arrivano entrambi sotto forma di testo, e il modello deve decidere a cosa dare peso. Nel software tradizionale i confini tra dati e comandi sono in genere netti. Qui sono sfumati, ed è da questa sfumatura che nascono molti rischi nuovi.
Per chi decide in azienda la conseguenza pratica è che un sistema di AI non va valutato solo sulla qualità delle risposte. Va valutato su che cosa può leggere, che cosa può fare e a chi può trasmettere ciò che produce. Più il sistema è collegato a documenti, strumenti e altri programmi, più la superficie di rischio cresce. Un sistema così va trattato come un collaboratore con accessi, non come uno strumento passivo.
2. Cos'è la prompt injection
La prompt injection è un'istruzione nascosta in un testo che il sistema legge, pensata per fargli fare qualcosa che l'utente o l'azienda non voleva. Il testo può trovarsi in una pagina web, in un documento allegato, in una mail o in un campo di un database. Il modello, leggendo quel contenuto, può trattarlo come una richiesta legittima e cambiare comportamento.
Esistono due forme principali. Nella forma diretta, chi scrive la richiesta cerca di aggirare le regole del sistema con istruzioni esplicite. Nella forma indiretta, più insidiosa, l'istruzione arriva da una fonte esterna che il sistema consulta mentre lavora. Quest'ultima è quella più rilevante per un'azienda, perché il sistema può leggere contenuti che nessuno ha verificato. La forma indiretta richiede quindi un'attenzione diversa, perché il pericolo non è nella domanda di chi scrive ma in ciò che il sistema legge.
3. Un esempio generico
Immagina un assistente interno che riassume le mail di un'area commerciale e propone bozze di risposta. Una mail ricevuta da un soggetto esterno contiene, nascosta in fondo, una frase che chiede al sistema di includere in ogni risposta un elenco di informazioni riservate. Se il sistema ha accesso a quei documenti e nessun controllo verifica l'uscita, la bozza potrebbe contenere dati che non dovrebbero lasciare l'azienda, senza che la persona che la invia se ne accorga.
Il problema non sta in una singola falla, ma nella combinazione di tre condizioni: lettura di contenuti non fidati, accesso a informazioni riservate e possibilità di inviare output all'esterno. Per ridurre il rischio basta spesso interrompere una di queste tre condizioni. La domanda utile è quale delle tre si può limitare o controllare meglio nel tuo caso. La stessa logica vale per qualunque sistema che combini la lettura di testi esterni con l'invio di messaggi.
4. Le altre vulnerabilità tipiche
Oltre alla prompt injection, i sistemi basati su modelli linguistici presentano un insieme di vulnerabilità che conviene conoscere. Non tutte riguardano la sicurezza in senso stretto: alcune riguardano la fiducia nei risultati e la gestione dei dati. Le principali sono elencate qui sotto, in forma generica. Alcune non dipendono dal modello ma dal modo in cui il sistema è collegato agli altri programmi, e sono spesso le più facili da sottovalutare.
Ogni voce ha un controllo specifico, ma tutte hanno una radice comune: il sistema tratta come affidabile un contenuto che non lo è. Per questo i controlli più efficaci sono di architettura, cioè decidono che cosa il sistema può vedere e fare, e non solo che cosa gli viene chiesto di fare. Per questo è utile chiedersi, per ogni sistema, quali azioni può compiere senza che nessuno le approvi.
- Fuga di informazioni: il sistema rivela dati presenti nel contesto o nei documenti collegati a utenti che non dovrebbero vederli.
- Eccesso di permessi: un sistema può compiere azioni, come inviare mail o modificare registrazioni, più ampie di quelle necessarie al compito.
- Output non verificato: un testo generato viene usato da un altro programma o pubblicato senza revisione.
- Fonti alterate: i documenti di riferimento contengono informazioni false o manomesse che il sistema tratta come vere.
- Registri sensibili: le conversazioni vengono conservate in archivi con controlli di accesso deboli.
5. Idee sbagliate da correggere
La prima idea sbagliata è che un filtro sulle parole chiave basti. Le istruzioni nascoste possono essere formulate in molti modi, anche in lingue diverse, e un filtro che blocca alcune frasi lascia passare tutte le altre. Un filtro può essere un livello di difesa utile, ma da solo non è una protezione sufficiente. Una sola regola di sicurezza non copre la varietà di modi in cui un testo può essere costruito.
La seconda è che il problema riguardi solo i sistemi pubblici su Internet. In realtà un sistema interno che legge documenti caricati da molte persone, o pagine esterne consultate durante il lavoro, espone lo stesso tipo di rischio. La terza è che basti scegliere un modello più recente. Il modello conta, ma la sicurezza dipende soprattutto da come il sistema è costruito intorno al modello.
6. Controlli da prevedere
I controlli principali sono pochi e concreti. Dai al sistema solo i permessi indispensabili per il compito e separa chiaramente le istruzioni del sistema dai contenuti esterni, trattando questi ultimi come dati e non come comandi. Limita le azioni che il sistema può compiere senza conferma umana, soprattutto l'invio di messaggi e la modifica di dati. Registra le operazioni in modo che sia possibile ricostruire cosa è successo.
Poi servono verifiche periodiche. Prepara una serie di input ostili, con istruzioni nascoste in documenti di prova, e controlla che il sistema non le esegua. Ripeti la prova quando cambiano il modello, le fonti collegate o gli strumenti a disposizione. Chi gestisce il sistema dovrebbe sapere chi risponde di questi test e dove vengono archiviati i risultati. Il risultato di ogni prova va scritto, con la data, il tipo di input usato e la risposta del sistema.
7. Come iniziare
Questa settimana fai un elenco dei sistemi di AI già in uso o in valutazione e, per ciascuno, scrivi tre cose: quali contenuti esterni legge, a quali dati può accedere e verso dove può inviare output. Questo elenco ti dice quali sistemi hanno la superficie di rischio più ampia e meritano attenzione per primi. Non serve un inventario tecnico perfetto per iniziare.
Poi chiedi al responsabile IT o al fornitore di spiegare per iscritto come sono gestiti questi tre punti. Se la risposta non è chiara, il sistema non è pronto per dati sensibili. Non serve diventare esperti di sicurezza dei modelli per fare questa verifica, ma serve che qualcuno possa porre domande precise e ottenere risposte documentate. Chiedi anche se il fornitore aggiorna il sistema e come ti avvisa di eventuali cambiamenti.
Domande frequenti
La prompt injection è un tipo di virus?
No. Un virus è un programma che si diffonde ed è eseguito dal sistema. La prompt injection è un testo costruito per far cambiare comportamento al modello durante l'elaborazione. Il danno può essere simile, per esempio una fuga di dati o un'azione non voluta, ma il meccanismo è diverso e richiede difese diverse, centrate su permessi, separazione dei contenuti e controllo delle uscite.
Il fornitore dice che il sistema è sicuro: basta?
Non basta una dichiarazione generica. Chiedi quali contenuti esterni il sistema legge, quali permessi ha, come vengono registrate le operazioni e come sono stati testati gli attacchi di tipo injection. Le risposte devono essere scritte e collegate alla configurazione reale, non soltanto alla descrizione commerciale del prodotto.
Serve un esperto di sicurezza per gestire questi rischi?
Per progetti che toccano dati sensibili o azioni automatiche, un parere tecnico di sicurezza è consigliabile. Per un uso più limitato, il responsabile IT può svolgere molte verifiche di base, purché conosca i punti critici. In ogni caso chi decide sull'uso deve capire quali dati e quali azioni sono in gioco.
Un sistema che lavora solo su documenti interni è al sicuro?
Riduce alcuni rischi, ma non li elimina. I documenti interni possono contenere testi di fornitori, mail ricevute o allegati non verificati, che possono portare istruzioni nascoste. Inoltre le fughe di informazioni tra utenti con permessi diversi restano possibili se il sistema non rispetta i controlli di accesso dei documenti originali.
Quali rischi vanno considerati per primi?
Di solito quelli che combinano tre elementi: lettura di contenuti non fidati, accesso a dati riservati e possibilità di inviare output all'esterno o di eseguire azioni. Se un sistema ha tutti e tre, è il primo da rivedere. Se ne ha solo uno, i controlli ordinari di accesso e di revisione possono essere sufficienti, da verificare caso per caso.