1. Cos'è il chunking e perché esiste
Un modello linguistico non legge un archivio intero in una volta. Per una knowledge base è quindi necessario spezzare i documenti in parti più piccole, chiamate chunk, da indicizzare una per una. Quando un utente pone una domanda, il sistema recupera le parti più pertinenti e le passa al modello. Il chunking è l'operazione con cui si decide dove tagliare il testo, e quella decisione stabilisce quali frasi arrivano insieme alla domanda.
Sembra un dettaglio tecnico, ma incide direttamente sulla risposta. Un taglio troppo piccolo separa una definizione dalla sua eccezione, e la risposta perde il caso particolare. Un taglio troppo grande mescola argomenti diversi e rende la ricerca imprecisa, perché la parte recuperata contiene molto rumore. Il chunking non produce informazione nuova: stabilisce quale parte del documento arriva al modello e in quale forma,.
2. Come funziona in pratica
Il processo ha quattro passaggi. Il documento viene prima convertito in testo pulito, eliminando intestazioni ripetute, numeri di pagina e rumore di impaginazione che non portano significato. Poi viene diviso secondo una regola. Ogni parte riceve i metadati del documento d'origine, cioè titolo, sezione, data, versione e permessi. Infine ogni parte viene trasformata in una rappresentazione numerica che serve alla ricerca, come spiegato nelle guide dedicate ai modelli di embedding.
Le regole di divisione non sono universali. Un manuale tecnico con titoli chiari si presta a una divisione per sezione, mentre un verbale di riunione o una comunicazione con un cliente richiedono regole diverse, perché il loro ordine è meno gerarchico. Verifica sempre il risultato leggendo alcune parti generate dal sistema, perché un errore di taglio è invisibile finché non produce una risposta sbagliata. Il controllo visivo di poche parti rivela più problemi di molte metriche astratte.
3. Strategie a confronto
Le strategie più diffuse si distinguono per il criterio con cui tagliano il testo. Nessuna è sempre la migliore: la scelta dipende dalla struttura dei documenti e dalle domande che gli utenti fanno. La tabella riassume le opzioni più comuni, con il loro punto di forza e il loro limite tipico. Chiedi al fornitore quale usa e perché, con un esempio tratto dai tuoi documenti reali. Una risposta generica, che non entra nel dettaglio dei tuoi testi, non basta per una scelta consapevole.
Una combinazione frequente è dividere per struttura e poi applicare una regola di lunghezza ai blocchi troppo grandi. Questo mantiene il contesto dell'autore e limita il rischio di parti enormi che diluiscono il significato. Un documento lungo e poco strutturato, come un verbale di riunione, richiede spesso un trattamento diverso da un regolamento con capitoli e articoli. Il risultato di qualunque combinazione va comunque testato con domande reali prima di essere approvato.
| Strategia | Come divide il testo | Punto di forza | Limite |
|---|---|---|---|
| Lunghezza fissa con sovrapposizione | Blocchi di dimensione costante, con una parte comune tra un blocco e il successivo | Semplice da realizzare e prevedibile | Può tagliare frasi e definizioni nel punto sbagliato |
| Per struttura del documento | Tagli in corrispondenza di titoli, sezioni e paragrafi | Rispetta la logica che l'autore ha dato al testo | Richiede documenti ben scritti e con titoli coerenti |
| Per frasi o paragrafi raggruppati | Unisce frasi vicine fino a una dimensione target | Buon equilibrio tra precisione e contesto | La dimensione target va verificata caso per caso |
| Per significato | Taglia dove cambia l'argomento, misurato con un modello | Adatto a testi lunghi e poco strutturati | Più costoso da calcolare e meno facile da controllare |
4. Errori frequenti e idee sbagliate
Alcune idee circolano con insistenza e portano a scelte sbagliate. Conviene conoscerle prima di discutere con il fornitore, perché chi le sostiene spesso non le ha verificate sui propri documenti. Le più frequenti sono elencate qui sotto e riguardano sia la qualità della ricerca sia la gestione nel tempo, cioè quello che succede dopo il primo caricamento. Conviene chiedere al fornitore di spiegare per iscritto come le affronta, e confrontare le risposte di più fornitori prima di decidere.
Un progetto che evita questi errori parte da basi più solide e ha meno sorprese in fase di verifica. Ogni punto della lista è facile da controllare con un documento reale, e spesso emerge già nella prima prova. Chiedi a chi costruisce il sistema di mostrarti come gestisce ciascuno di questi casi, e prendi nota delle risposte che non sono chiare.
- Pensare che esista una dimensione ideale valida per tutti i documenti.
- Dividere senza conservare il titolo della sezione, perdendo il contesto della parte.
- Ignorare tabelle ed elenchi, che si spezzano a metà e perdono il significato.
- Credere che un sistema più sofisticato corregga un testo preparato male.
- Non rigenerare le parti dopo una modifica del documento.
5. Un esempio generico
Immagina una procedura interna di gestione delle richieste, lunga alcune pagine, con un capitolo sulle eccezioni. Se il taglio cade tra la regola e l'eccezione, una domanda sul caso particolare riceve la regola generale come risposta completa. Il sistema non ha inventato nulla: ha recuperato la parte sbagliata, e la risposta sembra coerente con il documento. Dividendo per sezione e includendo il titolo del capitolo in ogni parte, la stessa domanda recupera il blocco corretto, con l'eccezione e il suo contesto.
Il test che conviene fare è semplice. Prepara un gruppo di domande su casi particolari presenti nel documento e controlla quali parti vengono recuperate. Se il sistema restituisce sempre la sezione generale, il problema è nella divisione, non nel modello. Correggere la divisione costa meno che cambiare modello, ed è il primo intervento da provare prima di qualunque altra modifica.
6. Quando il chunking conta per la decisione
Il chunking pesa nelle decisioni quando i documenti sono lunghi, ricchi di eccezioni, pieni di tabelle o pubblicati con formati diversi. In questi casi la qualità della divisione può valere più della scelta del modello, perché un buon modello non recupera ciò che il taglio ha già separato. Pesa meno per documenti brevi e ben strutturati, dove una regola semplice funziona già senza sorprese.
Chiedi al fornitore quali formati gestisce, come mantiene i metadati e come tratta gli aggiornamenti. Questi punti emergono di solito solo dopo l'avvio, quando un documento importante produce una risposta sbagliata, e costano molto da correggere a posteriori. Meglio chiarirli prima di firmare, con un esempio scritto. Se il fornitore non sa rispondere su questi punti in modo preciso, è un segnale che il progetto non è ancora maturo per un uso serio.
7. Come iniziare
Scegli alcuni documenti rappresentativi, con tabelle, eccezioni e sezioni lunghe, e preparane una copia di prova. Chiedi al fornitore di dividerli con la strategia proposta e di mostrarti il risultato parte per parte, senza nasconderne le imperfezioni. Un risultato onesto, con qualche errore dichiarato, vale più di una dimostrazione perfetta costruita su un documento scelto ad hoc. Il risultato ti aiuta a capire quale strategia usare come punto di partenza.
Leggi tu stesso almeno una parte per ogni tipo di documento e annota dove il testo si spezza in modo innaturale. Quelle annotazioni sono il primo criterio di scelta, più affidabile di qualunque confronto teorico, e si possono fare in una mattinata di lavoro. Ripeti l'esercizio dopo aver cambiato la strategia, così puoi confrontare i due risultati sugli stessi documenti e capire quale divisione funziona meglio nel tuo caso.
Domande frequenti
Il chunking è la stessa cosa del riassunto dei documenti?
No. Il chunking divide il testo originale in parti che restano identiche al documento d'origine. Il riassunto riscrive il contenuto e può perdere dettagli, eccezioni e cifre. Nel sistema di knowledge base il testo originale deve restare disponibile, perché la citazione della fonte si basa su di esso.
Serve una dimensione fissa per tutte le parti?
Non necessariamente. Una dimensione fissa è semplice da gestire, ma spesso taglia il testo nel punto sbagliato. Più utile è una regola che rispetti la struttura del documento e limiti le parti eccessivamente lunghe. La dimensione va scelta in base ai documenti e verificata con domande reali.
Il chunking va rifatto se cambia il modello?
Dipende da come è costruito il sistema. La divisione del testo è in genere indipendente dal modello di ricerca, ma la rappresentazione numerica delle parti va ricalcolata se cambia il modello di embedding. Chiedi al fornitore quali parti dell'indice vanno rigenerate e come viene gestita la transizione senza interrompere il servizio.
Le tabelle si possono dividere come il testo?
Di solito no. Una tabella spezzata a metà perde l'intestazione e il significato delle colonne. Conviene trattarla come blocco unico, eventualmente con l'intestazione ripetuta in ogni parte. Verifica il trattamento con un documento che contiene tabelle reali, perché è uno dei punti in cui i sistemi si comportano in modo molto diverso.
Il chunking risolve i problemi di qualità delle risposte?
Non da solo. Spesso è una causa importante, ma i problemi possono nascere anche dalla ricerca, dai permessi, dalla qualità dei documenti di origine o dalle istruzioni date al modello. Misura separatamente il recupero dei brani giusti e la fedeltà della risposta, così capisci dove intervenire.