GUIDA · LLM ON PREM

Lunghezza del contesto e memoria della GPU: perché il contesto costa

Quando un modello deve leggere documenti lunghi o gestire molte conversazioni insieme, la memoria della scheda grafica diventa il vincolo principale. Questa guida spiega cosa occupa quella memoria, perché il contesto ha un costo che cresce e come tenerne conto quando dimensioni un servizio interno. Non servono formule: servono le domande giuste.

Aggiornata a ottobre 2026
7 min di lettura
Redazione Tecnica Altovar

1. Cos'è il contesto

Il contesto è tutto il testo che il modello ha davanti quando genera una risposta: la domanda dell'utente, le istruzioni di sistema, i passaggi di documenti recuperati e la parte di conversazione precedente. Il modello non ricorda nulla al di fuori di questo spazio. Quando la conversazione si allunga o i documenti diventano più grandi, il contesto cresce e con lui il lavoro che il sistema deve svolgere a ogni risposta.

La lunghezza del contesto è quindi un limite funzionale, ma anche un costo. Un contesto più lungo permette di usare documenti più ampi o di tenere una conversazione più ricca, però consuma risorse che non sono gratuite. Capire questo legame è la base per dimensionare il servizio in modo onesto, senza scegliere la lunghezza massima solo perché è disponibile. Chi lo fa rischia di pagare una memoria che non userà mai.

2. Cosa occupa la memoria

Durante la generazione, il modello conserva in memoria informazioni intermedie per ogni token del contesto. Questa memoria si chiama KV cache, cioè la cache delle chiavi e dei valori usati dai meccanismi di attenzione. Serve a non ricalcolare ogni volta tutto il testo precedente. La sua dimensione cresce in proporzione alla lunghezza del contesto e al numero di sessioni che restano attive contemporaneamente.

Accanto alla KV cache resta occupata la memoria dei pesi del modello, che non dipende dal contesto ma dalla dimensione e dalla precisione del modello. Per questo due conversazioni con lo stesso modello possono avere costi molto diversi. Una è breve e occupa poco; l'altra è un documento lungo e occupa molto più spazio per tutta la sua durata. Questa differenza è la ragione per cui una media delle sessioni può ingannare chi dimensiona il servizio.

3. Perché il costo cresce in fretta

Il costo non cresce in modo semplice da seguire. Un contesto doppio non significa solo il doppio della memoria per una sessione, ma anche più lavoro per ogni nuova parola generata. Moltiplicato per più utenti che lavorano nello stesso momento, il conto diventa rapidamente il fattore che decide se il servizio regge o se le richieste iniziano a rallentare. Per questo il dimensionamento va fatto sul picco, non sulla media della giornata.

Il problema è aggravato dal fatto che la memoria resta occupata per tutta la durata della conversazione, anche quando l'utente è fermo. Un sistema che apre sessioni lunghe e le lascia aperte consuma risorse in modo silenzioso. Serve quindi una regola su quando una sessione viene chiusa o riassunta, da decidere insieme al responsabile del servizio. Senza questa regola, ogni sessione lasciata aperta resta un costo che nessuno ha approvato.

4. Come gestire il contesto nel progetto

Ci sono tre leve principali. La prima è limitare la lunghezza massima accettata per una singola richiesta, e comunicarla agli utenti in modo chiaro. La seconda è recuperare solo i passaggi di documento davvero rilevanti, invece di inserire interi archivi nel contesto. La terza è definire per quanto tempo una conversazione resta attiva e cosa succede quando viene chiusa. Ognuna va decisa con il responsabile, non lasciata al comportamento predefinito del sistema.

Ogni leva ha un effetto sulla qualità. Un contesto troppo corto può far perdere informazioni importanti, mentre un recupero troppo selettivo può lasciare fuori il passaggio che serviva. Non esiste una soluzione unica: va scelta in base al tipo di documenti e alle domande tipiche, e va verificata con i test che il team usa per il servizio. Un cambiamento della leva va trattato come un cambiamento di versione.

LevaEffetto sulla memoriaRischio da tenere d'occhio
Limite di lunghezza per richiestaRiduce il picco per singola richiestaDocumenti tagliati o domande respinte senza spiegazione
Recupero selettivo dei passaggiInserisce nel contesto solo ciò che servePerdita del passaggio giusto se il recupero è impreciso
Chiusura o riassunto delle sessioniLibera memoria dalle conversazioni fermePerdita di dettagli se il riassunto è povero

5. Idee sbagliate comuni

La prima idea sbagliata è che basti più memoria per risolvere tutto. Più memoria aiuta, ma se il servizio cresce o le sessioni restano aperte, il consumo torna a salire. La seconda è che il contesto massimo dichiarato dal modello sia utilizzabile in pratica con qualsiasi carico. Il limite teorico non dice quante sessioni reggi insieme con le prestazioni che ti servono.

La terza idea è che la quantizzazione risolva il problema del contesto. Ridurre i pesi libera memoria per il modello, ma la memoria del contesto va gestita a parte. La quarta è che un contesto più lungo migliori sempre le risposte. Spesso il modello ottiene risultati migliori con informazioni mirate che con un archivio intero inserito senza criterio. Il criterio giusto è sempre la domanda dell'utente, non la quantità di testo disponibile.

6. Un esempio generico

Un ufficio vuole un assistente che risponda a domande su procedure interne. Le procedure sono brevi, ma qualcuno vuole caricare contratti lunghi per riassumerli. Il team separa i due casi: per le domande sulle procedure il sistema recupera solo i paragrafi pertinenti e mantiene il contesto corto. Per i contratti lunghi crea un flusso dedicato, con una sessione per documento che si chiude a fine lavoro.

Il risultato è un servizio più prevedibile. Le sessioni brevi restano rapide anche con molti utenti, mentre le elaborazioni lunghe vengono gestite in un canale separato, con tempi di attesa dichiarati. Il team non ha scelto la lunghezza massima per tutti, ma ha deciso dove serve davvero e a quale costo. Il team può spiegare la scelta a chi chiede perché alcuni documenti richiedono più tempo.

7. Come iniziare

Il primo passo utile questa settimana è raccogliere dati d'uso reali: quanto sono lunghi i documenti che le persone vogliono far leggere al sistema, quante conversazioni durano più di pochi scambi e quanti utenti lavorano nello stesso momento. Se questi dati non esistono, stimali con chi svolge il lavoro e scrivi la stima come ipotesi da verificare. Anche una stima approssimativa, purché dichiarata, è più utile di nessun dato.

Poi porta questi dati al fornitore e chiedigli come dimensiona la memoria per il tuo caso, non per il massimo teorico. Chiedi quale parte della memoria va al modello e quale al contesto, e come si comporta il sistema quando le sessioni aumentano. Annota anche la regola di chiusura delle sessioni che vi siete accordati: la risposta ti dirà quanto il progetto è sotto controllo.

Domande frequenti

Perché il modello dimentica le cose dette all'inizio di una conversazione lunga?

Perché lo spazio del contesto è limitato. Quando la conversazione supera il limite, le parti più vecchie devono essere eliminate o riassunte, e il modello non le conserva altrove. Se il sistema deve ricordare informazioni importanti, queste vanno riportate nel contesto in modo esplicito, per esempio con un riepilogo mantenuto dall'applicazione.

La memoria della GPU basta per tutti gli utenti?

Dipende da tre cose: la dimensione del modello, la lunghezza media dei contesti e il numero di sessioni attive nello stesso momento. Una stima fatta con i dati reali del tuo uso è più utile di qualsiasi valore generico. Chiedi al fornitore una misura con il tuo carico tipico e con un picco realistico, e verifica che resti un margine.

Un contesto più lungo rende le risposte migliori?

Non necessariamente. Inserire più testo può aiutare quando le informazioni giuste sono davvero presenti, ma può anche distrarre il modello o rallentare la risposta. Spesso un recupero mirato di pochi passaggi pertinenti dà risultati migliori di un archivio intero. Il criterio è misurare la qualità con le tue domande, non presumere che più sia meglio.

Chiudere le sessioni inattive crea problemi agli utenti?

Può crearne se non è comunicato. Un utente che ritrova la conversazione cancellata si sente perso. Conviene decidere una regola chiara, mostrarla nell'interfaccia e offrire un riepilogo quando la sessione viene chiusa. Così la memoria si libera senza far sparire il lavoro già fatto.

Il contesto lungo è un tema di sicurezza?

Può esserlo. Un contesto che contiene documenti interni può esporre informazioni a utenti che non dovrebbero vederle, se il recupero non controlla i permessi. Inoltre sessioni lunghe possono conservare dati personali per più tempo del necessario. Definisci chi può vedere cosa, per quanto tempo le conversazioni restano disponibili e come vengono cancellate.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →