1. Cosa fa un modello di embedding
Un modello di embedding trasforma un testo in una lista di numeri, detta vettore, costruita in modo che testi con significato simile abbiano vettori vicini. Nella knowledge base questo permette di trovare un brano anche quando la domanda usa parole diverse da quelle del documento. Chi chiede come si richiedono le ferie può trovare il paragrafo che parla di permessi e di congedi, pur senza usare la stessa parola, e questo è il valore pratico della tecnica.
Il modello di embedding non risponde a domande e non scrive testi. Il suo unico compito è rendere confrontabili i brani e le domande. Per questo la sua qualità incide direttamente su quali documenti arrivano al modello generatore, e quindi sulla risposta finale. Scegliere male significa recuperare brani sbagliati anche quando il resto del sistema è ben costruito, e il difetto è difficile da notare perché la risposta resta fluida.
2. Criteri che contano davvero
I criteri di scelta sono più numerosi di quanto sembri. Il primo è la qualità sull'italiano reale dei tuoi documenti, che include gergo interno, sigle e terminologia tecnica. Un modello valutato soprattutto su testi in inglese può funzionare peggio su documenti aziendali italiani, anche se nei test generici ottiene buoni risultati. Per questo il punteggio pubblicato dal produttore va sempre riletto alla luce dei tuoi testi.
Gli altri criteri riguardano dove viene eseguito il modello, quanto costa mantenere l'indice aggiornato, quanto occupa il vettore in archivio, quanto è facile sostituire il modello in futuro e quali garanzie il fornitore dà sul trattamento dei testi. Sono criteri non tecnici almeno quanto quelli tecnici, perché incidono su riservatezza e continuità del servizio. Nessuno di questi punti va valutato in astratto, ma sempre sul tuo caso.
3. Tre famiglie di opzioni a confronto
Le opzioni si raggruppano in famiglie. I nomi dei singoli modelli cambiano rapidamente, mentre le caratteristiche delle famiglie restano più stabili nel tempo. Verifica sempre le caratteristiche della versione concreta che il fornitore propone, non quella mostrata in una presentazione. Chiedi la scheda tecnica, la data di rilascio e i risultati dei test pubblicati da chi ha sviluppato il modello, e confrontali con quello che ti viene offerto.
Non esiste una famiglia migliore in assoluto. Una scelta prudente parte dal perimetro dei dati: se i documenti non possono uscire dall'infrastruttura dell'azienda, le opzioni ospitate esternamente vanno escluse o vincolate con garanzie scritte. Se invece i dati possono essere elaborati da un fornitore con accordi adeguati, la facilità di gestione pesa di più nella decisione finale. Chiedi anche quali esempi di lingua italiana sono inclusi nei test pubblicati.
| Famiglia | Dove viene eseguita | Punto di forza | Attenzione |
|---|---|---|---|
| Modello generale ospitato dal fornitore | Presso il servizio del fornitore, raggiungibile tramite interfaccia programmata | Facile da avviare e da mantenere | Chi elabora i testi e dove si trovano i dati va verificato per iscritto |
| Modello open source eseguito in locale | Sull'infrastruttura dell'azienda o di un fornitore dedicato | Il testo non esce dal perimetro scelto | Richiede capacità di calcolo e competenze per l'aggiornamento |
| Modello specializzato per l'italiano o per il settore | Presso il fornitore o l'azienda, a seconda dell'architettura | Può rendere meglio su lessico tecnico | Meno documentazione pubblica e più difficile da confrontare |
| Modello multilingua di uso generale | Come sopra, a seconda dell'architettura | Gestisce più lingue nello stesso archivio | La qualità sull'italiano va misurata, non data per scontata |
4. Compromessi nascosti
Il costo più sottovalutato non è quello di avvio, ma quello di cambiamento. Se domani vuoi sostituire il modello, devi ricalcolare la rappresentazione di tutti i documenti, perché i vettori prodotti da modelli diversi non sono confrontabili tra loro. Su archivi grandi questa operazione richiede tempo, pianificazione e una finestra di verifica. Chiedi al fornitore quanto costa in termini operativi un cambio di modello e se il servizio resta disponibile durante la transizione.
Un altro compromesso riguarda la lunghezza dei testi che il modello accetta. Un modello con finestra più ampia può leggere parti più lunghe in un colpo solo, ma non è detto che le legga meglio, e a volte la qualità cala proprio sui testi più lunghi. Verifica il comportamento su documenti reali, perché una capacità maggiore non garantisce una ricerca più precisa.
5. Come decidere con un test sui tuoi documenti
Il modo più affidabile di scegliere è un test. Prendi un gruppo rappresentativo di documenti e un gruppo di domande reali, con la risposta attesa e il documento che la contiene. Confronta le opzioni candidate misurando quante volte il documento giusto compare tra i primi risultati della ricerca. Lavora sulle stesse domande per tutte le opzioni, altrimenti il confronto non significa nulla e finisce per premiare la presentazione più convincente.
Aggiungi al test le domande difficili: sigle interne, termini con più significati, formulazioni colloquiali. Sono quelle che rivelano le differenze tra i modelli. Annota anche il tempo di risposta e il costo di gestione stimato, senza fidarti di cifre di listino generiche. Il vincitore è spesso quello che sbaglia meno sulle domande più scomode, non quello con la classifica più alta.
6. Domande da fare al fornitore
Le risposte a queste domande valgono più di una presentazione commerciale. Se il fornitore non le conosce o non le mette per iscritto, considera questo un segnale da approfondire prima di firmare. Chiedi anche di poter ripetere il test con i tuoi documenti durante la fase di valutazione, e di vedere il risultato delle singole domande, non solo la media.
- Su quali documenti in italiano il modello è stato valutato, e con quali criteri?
- Dove vengono elaborati i testi e chi può accedervi, anche per obblighi di legge?
- Come si gestisce il cambio di modello senza interrompere il servizio?
- I testi inviati vengono usati per addestrare modelli di terzi? La risposta va data per iscritto.
- Quali log vengono conservati, per quanto tempo e chi può consultarli?
7. Come iniziare
Questa settimana riunisci un gruppo di domande reali, scelte tra quelle che i colleghi fanno più spesso, e individua i documenti che rispondono. Senza questo materiale nessun confronto tra modelli è affidabile, e con questo materiale la discussione con il fornitore diventa concreta e verificabile da entrambe le parti. Usa domande che hai visto fare davvero, senza riscriverle in forma più elegante, perché il tuo modo di chiedere è quello che il sistema dovrà gestire ogni giorno.
Una volta pronto il test, chiedi al fornitore di eseguirlo sulle opzioni che intendi valutare, lasciando che i risultati parlino da soli. Se le differenze sono piccole, scegli l'opzione più semplice da gestire e da sostituire, perché in futuro sarà quella che costerà meno di cambiare. Se la differenza tra due opzioni è minima, il criterio decisivo diventa la facilità di gestione e di sostituzione nel tempo, non il punteggio di un singolo test.
Domande frequenti
Serve scegliere subito un modello definitivo?
No, ma serve sapere come cambiarlo. Parti da un'opzione ragionevole per il perimetro dei dati e verifica che il sistema permetta di sostituirla senza riscrivere tutto. Un'architettura che separa il modello dal resto del sistema riduce il rischio di restare legati a una scelta iniziale che poi non funziona più.
Un modello più grande è sempre migliore?
Non necessariamente. Dimensione e qualità non coincidono sempre, soprattutto su un lessico specifico come quello aziendale. Un modello più piccolo, valutato sui tuoi documenti, può superare uno più grande nella ricerca. Il criterio è il risultato misurato sul tuo archivio, non la dimensione dichiarata.
Possiamo cambiare modello dopo un anno?
Si può, ma ha un costo operativo. Tutti i documenti vanno rielaborati con il nuovo modello e i risultati vanno ricontrollati. Pianifica il cambio come un'operazione ordinaria, con una verifica prima e dopo e con un piano di ritorno alla versione precedente già scritto.
Il modello deve gestire anche l'inglese?
Dipende dai documenti. Se nell'archivio ci sono testi in più lingue, o termini tecnici in inglese, verifica che il modello li gestisca bene. Un test con domande in italiano su documenti in inglese, e viceversa, mostra subito se la copertura è adeguata.
Le classifiche pubbliche dei modelli bastano?
Sono un punto di partenza, non una decisione. I test pubblici usano testi e domande che possono essere molto diversi dai tuoi documenti. Usali per restringere le opzioni, poi decidi con un test costruito sul tuo archivio e sulle tue domande.