1. Cos'è l'indicizzazione incrementale
Indicizzare una base di conoscenza significa preparare i documenti per la ricerca: dividerli, calcolare le rappresentazioni numeriche e salvarle in un indice. La prima volta il lavoro riguarda tutto l'archivio. Dopo, nella vita reale, i documenti cambiano di continuo, e il sistema deve riflettere le modifiche senza ripetere ogni volta il lavoro completo. Il problema dell'aggiornamento è quindi il problema centrale della manutenzione di una base viva.
L'indicizzazione incrementale è il metodo con cui si aggiorna solo ciò che è cambiato. Un documento nuovo viene aggiunto, uno modificato viene rielaborato, uno eliminato viene rimosso dall'indice. Sembra semplice, ma le tre operazioni hanno casi limite che rendono il sistema meno affidabile di quanto appaia in una dimostrazione costruita su documenti statici. Ed è proprio nei casi limite che si perde la fiducia degli utenti.
2. Perché rifare tutto non è la soluzione
Ricostruire l'indice da zero a ogni modifica è sicuro ma ha costi evidenti. Richiede tempo di calcolo, può rallentare il servizio durante l'aggiornamento e moltiplica i rischi di errore quando l'operazione è lunga. Per archivi piccoli può essere accettabile, mentre per archivi che cambiano di frequente raramente lo è. La scelta va fatta sapendo quanto spesso cambiano davvero i documenti, non immaginandolo.
Il vero problema è la finestra di incoerenza. Mentre l'indice si ricostruisce, alcune risposte possono basarsi su versioni vecchie o mancanti. Un aggiornamento incrementale riduce questa finestra, ma solo se è progettato bene, con un meccanismo che dica con precisione che cosa è stato aggiornato e che cosa no. Senza questa informazione, nessuno può sapere se una risposta è aggiornata.
3. Come funziona in pratica
Il sistema riconosce le modifiche in più modi. Può confrontare la data di ultima modifica, oppure calcolare un'impronta del contenuto, detta hash, che cambia solo quando il testo cambia davvero. L'impronta è più affidabile della sola data, perché non dipende dai metadati del file e non segnala modifiche che in realtà non ci sono. Conviene chiedere al fornitore quale dei due metodi usa e come gestisce i casi in cui il confronto non è possibile.
Riconosciute le modifiche, il processo elimina le parti vecchie del documento dall'indice, ricalcola quelle nuove e aggiorna metadati e permessi. Le eliminazioni sono il passaggio più trascurato: un documento rimosso dal sistema documentale deve sparire anche dall'indice, insieme con tutte le sue parti derivate. Se una di queste operazioni manca, il documento ritirato continua a rispondere alle domande come se fosse ancora valido.
4. Dove il meccanismo si rompe
Questi problemi sono frequenti e raramente emergono in una dimostrazione costruita su pochi documenti statici. Conviene chiederli esplicitamente al fornitore e verificarli con un test di modifica, non con una dichiarazione generica. Un test semplice, che cambia un documento, lo ritira e ne modifica i permessi, rivela molti dei casi più comuni, e richiede poco tempo per essere eseguito da chi gestisce la base.
- Le cancellazioni non vengono propagate e nelle risposte compaiono documenti ritirati.
- Versioni multiple dello stesso documento restano nell'indice accanto alla versione corrente.
- I permessi cambiano nel sistema documentale, ma i brani indicizzati mantengono quelli vecchi.
- Il modello di embedding cambia, e parte dell'indice resta calcolata con il modello precedente.
- Un errore nel processo di aggiornamento viene ignorato e nessuno se ne accorge.
5. Un esempio generico
Immagina una procedura operativa con una revisione. La versione vecchia contiene un passaggio che è stato cambiato. Se l'indice non viene aggiornato, una domanda sul passaggio recupera la versione superata e la risposta la presenta come vigente. Chi legge non ha motivo di dubitare, perché la fonte citata esiste davvero, e il documento riportato è proprio quello che ha letto l'ultima volta.
Un aggiornamento corretto deve fare tre cose: rimuovere le parti della versione vecchia, indicizzare la nuova con la data e il numero di versione, e far sì che la citazione punti alla versione attuale. Verifica questo comportamento con una modifica di prova su un documento non critico, prima di affidarti al sistema per informazioni che contano. Questo passaggio di verifica si fa in pochi minuti e permette di individuare subito un problema.
6. Quando conta per la decisione
L'indicizzazione incrementale diventa decisiva quando i documenti cambiano spesso, quando le modifiche hanno conseguenze operative o legali, o quando la base è aperta a molte persone. In questi casi una risposta basata su una versione superata è un rischio, non un semplice fastidio. Se invece l'archivio è stabile, la semplicità di un aggiornamento periodico può essere sufficiente, purché la data dell'ultimo aggiornamento sia visibile.
Chiedi al fornitore con quale frequenza avviene l'aggiornamento, come viene segnalata una modifica non applicata e come si ricostruisce l'indice in caso di problema. Le risposte devono essere concrete e verificabili, non una descrizione generica del processo. Un fornitore serio distingue ciò che garantisce da ciò che dipende dalla configurazione del tuo ambiente. Anche la comunicazione agli utenti sulla data dell'ultimo aggiornamento aiuta a costruire fiducia.
7. Come iniziare
Scegli un piccolo gruppo di documenti di prova e fai un ciclo completo: aggiungi un documento, modificane uno, ritira un altro e cambia i permessi di uno. Dopo ogni passaggio interroga la base con una domanda che tocca quel documento, e verifica la risposta e la citazione. Il risultato ti dice se il sistema è pronto per l'uso quotidiano o se serve correggere il processo prima.
Documenta il comportamento osservato e confrontalo con quanto il fornitore aveva dichiarato. Le differenze vanno chiarite prima dell'apertura, perché in produzione si trasformano in risposte che nessuno pensa di dover controllare. Il controllo dell'aggiornamento è una verifica ricorrente, non una prova da fare una volta sola. Conserva il verbale della prova insieme alla configurazione approvata, così che ogni futura modifica possa essere confrontata con un punto di partenza noto.
Domande frequenti
Ogni quanto deve essere aggiornato l'indice?
Dipende dalla frequenza con cui cambiano i documenti e dalle conseguenze di una risposta non aggiornata. Per documenti che cambiano raramente basta un aggiornamento periodico. Per documenti operativi o legati a scadenze, l'aggiornamento deve avvenire quasi subito dopo la modifica. La scelta va fatta con il responsabile dei contenuti.
Un documento cancellato sparisce subito dalle risposte?
Non sempre. Dipende da come il sistema gestisce le eliminazioni e dalle cache che conserva. Chiedi al fornitore quanto tempo può passare tra la cancellazione nel sistema documentale e la sua scomparsa dalle risposte, e verifica il comportamento con una prova. La risposta va data per iscritto.
Il cambio di modello richiede di rifare tutto l'indice?
Di solito sì, almeno per la parte vettoriale. Le rappresentazioni calcolate con un modello non sono confrontabili con quelle di un altro. La transizione va pianificata: si costruisce il nuovo indice in parallelo, si verifica con il test e si passa solo quando i risultati sono adeguati.
Come si evita che un errore di aggiornamento passi inosservato?
Con un registro delle operazioni che indica per ogni documento quando è stato indicizzato, con quale versione e con quali permessi. Un controllo periodico confronta il sistema documentale con l'indice e segnala le differenze. Le segnalazioni devono arrivare a un responsabile, non restare in un log che nessuno legge.
L'aggiornamento incrementale è più costoso?
Non necessariamente. Richiede una progettazione più attenta e un monitoraggio, ma evita di rielaborare l'intero archivio a ogni modifica. Il costo reale dipende dall'architettura e dal volume dei cambiamenti. Chiedi al fornitore di spiegare come il costo cresce con il volume e con la frequenza delle modifiche.