1. Due modi diversi di adattare un modello
Quando un modello generico non basta, ci sono due strade principali. La prima è il RAG, dall'inglese retrieval-augmented generation, cioè generazione aumentata dal recupero: al momento della domanda il sistema cerca nei documenti aziendali i passaggi pertinenti e li fornisce al modello insieme alla richiesta. La seconda è il fine-tuning, cioè un ulteriore addestramento del modello su esempi selezionati, che ne modifica il comportamento.
Sono strumenti diversi per problemi diversi. Il RAG porta conoscenza nel momento della risposta, mentre il fine-tuning cambia il modo in cui il modello risponde. Confonderli è l'errore più comune: molte persone chiedono un fine-tuning per fare in modo che il modello 'sappia' i documenti aziendali, e scoprono poi che le informazioni si aggiornano male e non si possono citare.
2. I criteri che contano
Per scegliere servono alcune domande. Le informazioni cambiano spesso? Serve citare la fonte di ogni risposta? Il problema riguarda il contenuto, il tono, il formato o un compito ripetitivo? Esistono esempi di qualità, ben curati e in numero sufficiente? E chi manterrà il sistema nel tempo, con quali competenze? Le risposte alle prime due domande spesso bastano a orientare la scelta.
Un altro criterio è la tracciabilità. Con il RAG è possibile mostrare quali passaggi sono stati usati e verificarli. Con il fine-tuning la conoscenza è distribuita nel modello e non si può indicare facilmente da dove deriva una risposta. In settori in cui ogni affermazione deve poter essere verificata, questa differenza pesa molto. Chi sceglie solo in base al nome della tecnica rischia di costruire una soluzione sbagliata fin dall'inizio.
3. Confronto tra gli approcci
La tabella confronta quattro approcci in modo qualitativo. La combinazione è spesso necessaria quando sono importanti sia la conoscenza sia lo stile. Le valutazioni cambiano con il caso, quindi usale come punto di partenza per la discussione. Non cercare un vincitore assoluto: ogni colonna va letta insieme alle altre, pensando ai documenti che hai, alla frequenza con cui cambiano e alle competenze disponibili in casa.
Il prompt ben progettato è spesso il punto di partenza più sensato. Prima di investire in una delle altre strade, verifica quanto si ottiene con istruzioni chiare, esempi nel testo della richiesta e un insieme di domande di prova. Se il risultato è già buono, la complessità aggiuntiva non è giustificata. Un prompt scritto male può nascondere un problema che sembra di conoscenza, quindi conviene escluderlo per primo.
| Approccio | Quando funziona meglio | Punto debole | Competenze richieste |
|---|---|---|---|
| Prompt ben progettato | Compiti generici con regole semplici | Limitato quando servono conoscenze specifiche | Basse |
| RAG | Risposte su documenti interni che cambiano nel tempo | La qualità dipende dal recupero corretto dei documenti | Medie: gestione di dati, permessi e documenti |
| Fine-tuning | Stile, formato o compiti ripetitivi con esempi affidabili | Non aggiorna da solo le conoscenze e richiede dati curati | Medio-alte: preparazione degli esempi e valutazione |
| Combinazione | Casi complessi con documenti e stile specifici | Più componenti da mantenere e verificare | Alte: team con competenze diverse |
4. Quando il RAG è la scelta più adatta
Il RAG è spesso la scelta più adatta quando l'azienda ha molti documenti che cambiano: procedure, listini, manuali, modelli di contratto, risposte a richieste ricorrenti. Aggiornare un documento è più semplice che riaddestrare un modello, e il sistema può mostrare quale passaggio ha usato. Questo rende più facile la verifica e la correzione degli errori. Confronta sempre le alternative sullo stesso insieme di domande, altrimenti il confronto non dice nulla.
Il RAG ha però dei punti deboli. Se il sistema recupera il passaggio sbagliato, la risposta sarà sbagliata anche se il modello è valido. Per questo la qualità della ricerca nei documenti è una parte critica del progetto e va testata con domande reali. Anche i permessi vanno rispettati: il sistema deve recuperare soltanto ciò che l'utente può vedere nella fonte originale.
5. Quando il fine-tuning ha senso, e i suoi limiti
Il fine-tuning è utile quando vuoi che il modello risponda in un certo modo in modo costante: un formato preciso, un tono coerente, una classificazione con categorie proprie o un compito ripetitivo che le istruzioni non riescono a descrivere bene. Serve un insieme di esempi di qualità, scelti da persone competenti, e una valutazione prima e dopo l'intervento. Prima di iniziare, verifica che esista un numero sufficiente di esempi, perché senza di essi il lavoro non parte.
Il limite più frequente è pensare che il fine-tuning serva a insegnare conoscenze. Un modello addestrato su documenti può ricordare frasi in modo impreciso, non aggiorna le informazioni quando i documenti cambiano e non indica le fonti. Ogni modifica richiede un nuovo ciclo di addestramento e di verifica. Per questo è spesso più sostenibile usarlo per lo stile e il formato, lasciando le conoscenze al RAG.
6. Come decidere e cosa chiedere al fornitore
Un percorso pratico è questo: parti dalla soluzione più semplice, misura il risultato su domande reali e aggiungi complessità solo se necessario. Prima di decidere, chiarisci quanto cambiano i documenti, quanto serve citare le fonti e chi curerà gli esempi o i documenti. Queste risposte valgono più di qualsiasi confronto di prodotti. Il tempo che dedichi a queste domande iniziali riduce molto il rischio di scegliere una soluzione troppo costosa da cambiare dopo.
Diffida di chi propone una soluzione prima di aver visto i tuoi documenti e le tue domande. Un fornitore serio chiede il caso d'uso, prepara una prova e mostra come misura la qualità delle risposte. Le domande da fare sono queste: Chiedi anche di vedere un esempio reale di risposta con la fonte indicata, non solo una demo preparata. Se il fornitore rifiuta una prova sul tuo caso, è un segnale da considerare nella scelta.
- Come vengono aggiornati i documenti collegati e chi decide quali entrano.
- Come vengono rispettati i permessi di accesso durante la ricerca.
- Come si verifica che il passaggio recuperato sia quello giusto.
- Chi conserva gli esempi usati per un eventuale addestramento e dove restano.
- Cosa succede ai dati caricati alla fine del contratto.
7. Come iniziare
Questa settimana scegli un caso d'uso con risposte basate su documenti esistenti e prepara venti domande reali, con la risposta corretta indicata da una persona competente. Questo insieme di domande ti servirà per confrontare qualsiasi approccio, in modo che la scelta si basi sui risultati e non sulle presentazioni. Il risultato sarà utile anche se la scelta finale è diversa da quella che ti aspettavi.
Poi prova la soluzione più semplice, cioè istruzioni ben scritte con gli esempi giusti. Registra gli errori e classificali: mancanza di informazione, informazione sbagliata, stile inadeguato. Solo se gli errori riguardano la conoscenza valuti il RAG; se riguardano stile o formato valuti il fine-tuning. Il tipo di errore indica la strada. Annota anche quanto tempo impieghi per correggere ogni errore, perché è un indicatore concreto della fatica che il sistema scarica sulle persone.
Domande frequenti
Il fine-tuning serve a far imparare i miei documenti al modello?
Non è lo strumento più adatto per questo. Il fine-tuning modifica il comportamento del modello, ma non garantisce che le informazioni vengano ricordate con precisione e non permette di aggiornarle facilmente. Per portare documenti aziendali nelle risposte il RAG è di solito la strada più controllabile, perché i documenti restano separati e possono essere corretti in ogni momento.
Il RAG elimina le allucinazioni?
No. Riduce il rischio perché ancora le risposte a un testo, ma il modello può comunque interpretare male il passaggio, combinare informazioni in modo errato o rispondere a una domanda che il documento non copre. Serve una verifica con domande reali e la possibilità di mostrare la fonte usata.
Posso partire con il RAG e passare al fine-tuning dopo?
Sì, ed è un percorso comune. Il RAG ti permette di capire quali domande ricevi e quali errori compaiono. Solo dopo, se il problema riguarda lo stile, il formato o compiti ripetitivi, ha senso valutare un fine-tuning, usando gli esempi raccolti durante la fase precedente. L'ordine inverso è più rischioso.
Quali competenze interne servono?
Serve qualcuno che conosca i documenti e il processo, qualcuno che gestisca i dati e i permessi, e un responsabile che valuti i risultati. Il fornitore può costruire il sistema, ma la conoscenza dei contenuti resta in azienda. Senza questa presenza il sistema diventa difficile da mantenere e da correggere.
Con il RAG i documenti restano fuori dal modello?
Dipende da come è costruita la soluzione e da ciò che il fornitore fa dei dati. In genere i documenti sono archiviati in un indice dedicato e recuperati al momento della domanda, ma questo va verificato nel contratto e nella configurazione. Chiedi per iscritto dove stanno i dati, chi vi accede e per quanto tempo restano conservati.