GUIDA · LLM ON PREM

LLM on-premise: dal pilota al servizio affidabile

Un modello che funziona in una prova non è ancora un servizio. Questa guida spiega come passare a un LLM on-premise usato ogni giorno da più persone: quali decisioni prendere prima, quali passaggi seguire in ordine e quali controlli servono per capire se il sistema regge. Alla fine saprai da dove cominciare e cosa chiedere al tuo fornitore.

Aggiornata a ottobre 2026
11 min di lettura
Redazione Tecnica Altovar

1. Perché il pilota non basta

Un pilota di solito dimostra una cosa sola: il modello risponde in modo utile alle domande scelte da chi lo ha provato. In produzione cambia quasi tutto. Gli utenti sono di più, le domande sono imprevedibili, i documenti contengono dati personali e il servizio deve funzionare anche quando il responsabile è in ferie. Il pilota non misura nulla di questo, quindi il suo successo non prova che il servizio sia pronto.

Il passaggio richiede di trattare il modello come un sistema informatico vero, con proprietari, procedure e limiti scritti. La domanda utile non è più se il modello è bravo, ma se sai dire chi lo gestisce, chi decide quando cambiarlo, cosa succede se si ferma e come dimostri che i dati restano dove devono stare. Se queste risposte mancano, il pilota non è ancora concluso, anche se gli utenti sono entusiasti.

2. Cosa decidere prima di installare

Prima di toccare l'infrastruttura conviene fissare tre decisioni. La prima riguarda il caso d'uso: quale compito deve svolgere il sistema, per quali persone e con quali dati. Un assistente che aiuta il personale amministrativo a cercare nei documenti interni richiede controlli diversi da uno strumento che tocca dati sanitari o dati dei clienti. La seconda riguarda il perimetro: quali utenti, quali applicazioni e quali fonti di dati si collegheranno al modello, perché ogni collegamento è una superficie da proteggere.

La terza decisione riguarda la responsabilità. Serve una persona interna che risponda del servizio, un fornitore che gestisca l'infrastruttura e una regola scritta su chi approva un cambio di modello. Senza un proprietario, ogni problema finisce in una discussione tra reparti e nessuno decide. Chiedi al fornitore di descrivere per iscritto come si dividono le attività tra la tua organizzazione e lui, e verifica che la divisione sia chiara anche per chi riceverà le segnalazioni degli utenti.

3. I passaggi dal pilota al servizio

I passaggi seguono un ordine preciso. Saltarne uno di solito non fa risparmiare tempo: lo fa ritrovare più avanti, quando correggere costa di più e gli utenti hanno già costruito abitudini attorno a un sistema instabile. L'ordine conta anche per le verifiche interne o esterne, perché mostra che le decisioni sono state prese prima del rilascio e non dopo un incidente.

Ogni passaggio deve produrre un risultato verificabile. Se non sai dire cosa dimostra il passaggio, non è ancora chiuso e conviene tornarci prima di andare avanti. La lista seguente è una sequenza generica: adattala al tuo caso, ma non eliminare i passaggi che riguardano test, accessi e piano di rientro. Tienila in un documento condiviso e aggiornala a ogni rilascio.

  1. Definisci il caso d'uso in una frase e raccogli esempi reali di domande che il sistema dovrà gestire.
  2. Costruisci un insieme di prova con domande vere, anonimizzate dove serve, e annota la risposta giudicata corretta.
  3. Scegli il modello e la sua versione, e verifica per iscritto le condizioni d'uso prima di usarlo per lavoro.
  4. Dimensiona l'infrastruttura sul carico stimato a regime, non sul numero di persone che hanno partecipato al pilota.
  5. Installa il servizio in un ambiente di prova separato da quello di produzione, con la stessa configurazione prevista.
  6. Esegui i test di qualità e di sicurezza e registra i risultati nel fascicolo del progetto.
  7. Apri l'accesso a un gruppo limitato, con un canale per le segnalazioni e un periodo di uso controllato.
  8. Attiva monitoraggio, procedure di emergenza e piano di rientro, poi estendi l'accesso all'utenza prevista.

4. Capacità, memoria e concorrenza

La capacità di un server LLM dipende da tre cose che si influenzano a vicenda: la memoria occupata dal modello, la lunghezza dei testi che il sistema deve gestire e il numero di richieste che arrivano nello stesso momento. Un modello grande può non entrare nella memoria di una scheda, un contesto lungo consuma memoria per ogni conversazione aperta e più richieste contemporanee rallentano le risposte. Per questo non basta sapere quale modello usare: serve sapere quanti utenti lo useranno insieme e con quali documenti.

Quando confronti offerte, chiedi al fornitore di misurare il sistema con i tuoi casi d'uso e non con esempi scelti da lui. Un risultato dichiarato senza condizioni non è confrontabile con un altro. Lascia anche margine per la crescita e per i picchi di lavoro, e definisci per iscritto cosa succede quando il sistema è saturo: le richieste si mettono in coda, vengono rifiutate o rallentano tutte insieme.

FattoreCosa influenzaDomanda da fare al fornitore
Memoria del modelloSe il modello entra nella memoria disponibile e con quale precisioneQuale memoria serve per il modello scelto e in quale formato?
Lunghezza del contestoQuanta memoria resta per ogni conversazione apertaQuante conversazioni parallele reggiamo con documenti della nostra dimensione?
ConcorrenzaQuante richieste lavorano insieme senza rallentare troppoQuali misure hai fatto con più utenti contemporanei?
Tempo di rispostaQuanto attende un utente prima di vedere la prima parolaCome è misurato e in quali condizioni di carico?

5. Sicurezza, accessi e dati

Il modello non sa chi lo sta usando e non applica da solo i permessi sui documenti. Questo compito spetta all'applicazione che lo collega agli utenti. Se il sistema recupera documenti da un archivio interno, deve mostrare solo quelli che la persona può già vedere nell'archivio di origine. Evita account condivisi, registra chi usa il servizio e separa i ruoli, così che un amministratore non sia anche l'unico che legge i log con i dati degli utenti.

Decidi anche cosa viene registrato. Le conversazioni possono contenere dati personali, e i log tecnici possono copiarli senza che nessuno se ne accorga. Stabilisci per quanto tempo si conservano le conversazioni, chi può consultarle e come si cancellano. Se il trattamento presenta rischi elevati per le persone, la valutazione d'impatto sulla protezione dei dati prevista dal GDPR va fatta prima del rilascio: verifica con un consulente se e come si applica al tuo caso.

6. Versioni, test e aggiornamenti

Ogni modifica al sistema cambia il comportamento: un nuovo modello, un nuovo prompt di sistema, un parametro di generazione o un documento aggiunto all'archivio di ricerca. Tratta ciascuna di queste modifiche come un rilascio, con una versione, una data e una persona che l'ha approvata. Se non sai quale versione ha risposto a una domanda sbagliata, non puoi capire perché è successo né tornare indietro in modo sicuro.

I test di regressione sono il modo più pratico per evitare sorprese. Conserva l'insieme di domande di prova e le risposte giudicate corrette, eseguilo prima di ogni cambiamento e confronta i risultati. Un test non garantisce che il sistema sia perfetto, ma ti dice se qualcosa è peggiorato. Prevedi anche un piano di rollback: la versione precedente deve restare disponibile per poter tornare indietro in tempi brevi.

7. Osservabilità e responsabilità operative

Un servizio in produzione va osservato in modo continuo. Misura la disponibilità, gli errori, i tempi di risposta, la lunghezza delle code, l'uso della memoria e della scheda grafica, la temperatura dei server. Aggiungi un indicatore di qualità percepita, per esempio le segnalazioni degli utenti sulle risposte sbagliate. I dati tecnici dicono se il sistema è vivo; quelli di qualità dicono se sta facendo il suo lavoro.

Serve anche chi risponde quando qualcosa va storto. Scrivi un runbook, cioè un documento con i passaggi per riavviare il servizio, per tornare alla versione precedente e per avvisare gli utenti. Definisci la reperibilità e verifica con il fornitore quali tempi di intervento sono contrattualizzati, senza darli per scontati. Un guasto notturno senza un responsabile reperibile diventa un problema di giorni.

8. Le domande che le guide di approfondimento risolvono

Questa guida è una panoramica del cluster. Le domande che la compongono hanno risposte più dettagliate in altre guide, che puoi leggere quando arrivi al punto giusto. Non servono tutte subito: ciascuna chiude un rischio che, se ignorato, emerge proprio quando il servizio è già in uso dalle persone. Ogni argomento copre una decisione concreta che il responsabile dovrà prendere prima o dopo, quindi conviene conoscerne il perimetro fin da ora:

  • Che cos'è la quantizzazione dei modelli e quanta precisione si perde con una versione più compatta
  • Come la lunghezza del contesto consuma la memoria della scheda grafica
  • Che cosa significano throughput, latenza e token al secondo, e come si misurano
  • Quando scegliere schede consumer o da datacenter per l'uso aziendale
  • Quali requisiti di alimentazione e raffreddamento servono per un server con schede grafiche
  • Che cosa osservare in produzione e come impostare il monitoraggio
  • Come aggiornare i modelli senza sorprese, con versioning e test di regressione
  • Quali licenze dei modelli open-weight permettono l'uso in azienda
  • Quali controlli di sicurezza applicare a un server LLM interno

9. Come iniziare

Il primo passo utile questa settimana è scrivere una scheda di una pagina per il servizio. Indica il caso d'uso, il nome della persona responsabile, il gruppo di utenti previsto, i tipi di dati che il sistema vedrà e il criterio con cui giudicherai le risposte, anche se è solo una valutazione qualitativa fatta da due colleghi. Se non riesci a compilare una riga, quella è la prima cosa da chiarire.

Poi porta la scheda al fornitore e chiedigli tre cose: come misura la qualità con i tuoi casi, come gestisce le versioni dei modelli e cosa succede quando il sistema è saturo. Le risposte ti diranno se il fornitore lavora con un processo o con la sola infrastruttura. Solo dopo puoi confrontare le offerte in modo utile, perché avrai un metro comune per leggerle.

Domande frequenti

Basta un buon pilota per andare in produzione?

No. Un pilota dimostra che il modello può essere utile su alcuni casi scelti. Per andare in produzione servono responsabili scritti, un insieme di test ripetibile, un controllo degli accessi, un monitoraggio e un piano per tornare indietro se qualcosa va storto. Il pilota è una fase di apprendimento: il passaggio al servizio richiede di colmare questi punti, uno per uno, prima di aprire il sistema a nuovi utenti.

Chi deve essere il responsabile del servizio?

Una persona interna con autorità sul caso d'uso, non solo sull'infrastruttura. Il responsabile decide quando un utente può accedere, approva i cambi di modello e risponde delle segnalazioni. Il fornitore gestisce l'infrastruttura e le sue attività vanno descritte per iscritto. Quando i due ruoli sono confusi, nessuno decide nei momenti critici, ed è proprio lì che il servizio si ferma.

Devo fare una valutazione d'impatto sulla protezione dei dati?

Dipende dal trattamento. Il GDPR prevede la valutazione d'impatto per i trattamenti che presentano rischi elevati per i diritti delle persone. L'uso di dati personali con un sistema che li elabora su larga scala, o per decisioni che le riguardano, può rientrare in questa categoria. Non dare per scontata la risposta: verifica con il responsabile della protezione dei dati o con un consulente.

Posso aggiornare il modello quando esce una versione migliore?

Puoi, ma non in modo automatico. Una versione nuova può migliorare alcuni compiti e peggiorarne altri, e cambia il comportamento su cui gli utenti hanno costruito le loro abitudini. Esegui i test di regressione sul tuo insieme di domande, confronta i risultati, approva il cambio per iscritto e tieni la versione precedente pronta per il rollback.

Quanto tempo serve per passare dal pilota al servizio?

Non esiste una durata standard. Dipende dalla maturità del caso d'uso, dalla disponibilità di dati di prova, dall'infrastruttura già presente e dal numero di controlli che la tua organizzazione richiede. Un progetto con responsabili chiari e un fornitore che lavora per processi si chiude molto più in fretta di uno in cui ogni decisione va riaperta. Pianifica per fasi, non per date fisse.

Il server on-premise elimina i rischi di un servizio esterno?

No. Tenere il modello in locale aiuta a controllare dove stanno i dati, ma non risolve da solo gli accessi, gli errori di configurazione, i log con dati personali o la gestione degli aggiornamenti. Dove si trova il sistema e chi può legalmente accedervi sono due questioni diverse, e vanno valutate entrambe.

Qual è la prima domanda da fare al fornitore?

Chiedi come misura la qualità del servizio con i tuoi casi d'uso, non con esempi preparati da lui. Una risposta concreta, con un insieme di prova e un processo di approvazione, dice molto sulla maturità del fornitore. Se la risposta è generica o si concentra solo sulla potenza dell'hardware, approfondisci prima di firmare.

Nota sul contenuto

Guida informativa di carattere generale. Norme e requisiti tecnici cambiano nel tempo: verifica sempre le fonti ufficiali e valuta il tuo caso specifico con un consulente tecnico o legale qualificato.

CONTATTACI

Parla con il nostro team.

Mostriamo come Altovar si integra nella tua infrastruttura. Nessun impegno, nessun sales pitch. Solo una conversazione tecnica.

PRENOTA UNA DEMO →