1. Perché portare l'intelligenza artificiale in casa
I modelli linguistici di grandi dimensioni, abbreviati LLM, sono ormai usati per riassumere documenti, rispondere a domande interne e cercare informazioni negli archivi aziendali. Quando il modello gira su servizi esterni, ogni richiesta passa per una rete che l'azienda non controlla. Per uno studio, un reparto ricerca o un'impresa che tratta dati sensibili questa dipendenza pesa, e per questo alcune aziende valutano hardware proprio, in sede o in un ambiente gestito.
Portare l'AI in casa non protegge automaticamente i dati. Un server può comunicare con l'esterno per aggiornamenti, telemetria, licenze o assistenza, e le informazioni scritte nei prompt finiscono nei log, nelle copie di backup e nei documenti generati. La domanda da porsi non è dove sta la macchina, ma quali flussi di dati la circondano e chi li controlla. Anche il personale che usa il sistema deve sapere cosa può inserire nei prompt.
2. Cloud, on-premise o ibrido: come scegliere
Non esiste una risposta unica. I servizi esterni offrono flessibilità e permettono di provare modelli diversi senza investire in hardware. L'infrastruttura in sede dà più controllo su dati e tempi, ma richiede spazio, energia, raffreddamento e competenze. Un approccio ibrido tiene in locale i dati più sensibili e usa servizi esterni per i compiti non critici, con regole chiare su cosa può uscire.
La scelta dipende dal tipo di dato, dal numero di utenti e dal grado di controllo richiesto. Un'analisi dei casi d'uso fatta prima dell'acquisto evita di comprare hardware per un progetto che non parte, o di usare un servizio esterno per dati che non dovrebbero mai uscire dall'azienda. La tabella confronta le opzioni più comuni. Leggila come punto di partenza, non come verdetto.
| Modello | Vantaggi principali | Limiti principali |
|---|---|---|
| Servizi AI esterni | Accesso immediato a modelli diversi, nessun investimento iniziale | Dati che escono dal perimetro aziendale, dipendenza dal fornitore |
| Server GPU in sede | Controllo completo di dati, accessi e configurazioni | Investimento, energia, raffreddamento e manutenzione da pianificare |
| Cluster gestito presso un fornitore | Hardware dedicato con gestione esterna dell'infrastruttura | Dipende da contratto, localizzazione e modalità di accesso del fornitore |
| Approccio ibrido | Dati sensibili in locale, compiti generici su servizi esterni | Richiede regole precise su cosa viene inviato e controlli costanti |
3. Dimensionare il sistema sul caso d'uso reale
La dimensione del sistema dipende da tre variabili: il modello da eseguire, il numero di persone che lo usano nello stesso momento e i documenti che deve consultare. Modelli più grandi richiedono più memoria della scheda grafica e più potenza di calcolo. Un modello più piccolo, ben scelto e adattato al compito, può bastare per attività ripetitive come classificare documenti o estrarre campi da moduli.
Il dimensionamento va verificato con prove reali, non con le sole schede tecniche. Prepara un insieme di domande tipiche dell'azienda, misura tempi di risposta e qualità delle risposte, poi ripeti la prova con più utenti in parallelo. Considera anche lo spazio per gli archivi, un'alimentazione stabile, un raffreddamento adeguato e una rete interna che non diventi il collo di bottiglia.
4. Sicurezza e governo del sistema
Un modello in sede è un servizio come gli altri e va protetto come tale. Chi può interrogarlo, quali archivi può consultare e quali log vengono conservati devono essere decisi prima dell'avvio. Le connessioni di amministrazione devono passare da accessi personali e autenticati, mai da credenziali condivise. I file dei modelli vanno scaricati da fonti verificabili, perché un modello compromesso può comportarsi in modo imprevedibile.
Il GDPR si applica quando nei prompt o nei documenti indicizzati ci sono dati personali. Servono una base giuridica chiara, limiti di conservazione per i log e la possibilità di rispondere a richieste di accesso o cancellazione. Se l'azienda rientra nel perimetro della direttiva NIS2, la gestione degli incidenti e degli aggiornamenti di sicurezza include anche questi sistemi. Chiedi al fornitore come documenta questi aspetti.
5. Checklist: prerequisiti prima dell'acquisto
Prima di ordinare hardware, assicurati di avere chiare queste condizioni. Ciascuna è una domanda da girare al fornitore e, se manca una risposta, un motivo per fermarsi. Il fornitore deve poter rispondere in modo concreto, con un'architettura scritta, non con una scheda tecnica piena di numeri. Chiedi di spiegare ogni scelta in relazione al tuo caso d'uso e ai tuoi volumi reali.
Una volta chiarite queste domande, scrivi un documento breve che riassuma caso d'uso, dati coinvolti e responsabilità. Serve al fornitore per proporre una configurazione adeguata e a te per confrontare le offerte su basi comparabili, senza farti sedurre da cifre impressionanti ma poco rilevanti per il tuo lavoro. Chiedi anche chi aggiornerà il sistema nei prossimi anni. Una risposta vaga su questo punto è un rischio operativo.
- Qual è il caso d'uso prioritario e quali documenti deve consultare il sistema?
- Quali dati personali o riservati entrano nei prompt e nei documenti indicizzati?
- Il server può comunicare con l'esterno, e in quali casi? Quali aggiornamenti o telemetria sono attivi?
- Chi gestisce le credenziali amministrative, gli aggiornamenti e i backup dei modelli?
- Il locale tecnico ha alimentazione stabile, raffreddamento e accesso controllato?
- Come si aggiunge capacità in futuro e il sistema è progettato per crescere?
6. Errori comuni nei progetti di AI in sede
Il primo errore è scegliere il modello prima di definire il problema. Un modello molto grande può dare risposte brillanti ma richiedere hardware ed energia costosi, mentre spesso serve di più un modello più piccolo configurato sul lavoro reale. Il secondo è sottovalutare i dati: documenti disordinati, versioni multiple e permessi non allineati producono risposte sbagliate o, peggio, mostrano informazioni a chi non dovrebbe vederle.
Il terzo errore è considerare il progetto concluso con l'installazione. Servono aggiornamenti, verifiche periodiche della qualità delle risposte e un responsabile interno che decida cosa cambiare. Il quarto è non includere nel budget raffreddamento e alimentazione: la parte fisica di un cluster GPU è spesso la più sottovalutata nei primi preventivi. Chiedi al fornitore di includerle esplicitamente nell'offerta. Senza questa voce, il budget reale resta incompleto.
7. Come iniziare: un caso d'uso, una misura
Il primo passo è scegliere un solo caso d'uso con un beneficio misurabile, per esempio la ricerca nei manuali tecnici o la sintesi di pratiche standard. Coinvolgi chi lo usa ogni giorno e raccogli un insieme di domande reali. Descrivi anche quali documenti servono, chi può accedervi e quali dati sono sensibili. Scrivi questi punti in una pagina sola, perché guideranno ogni scelta successiva.
Poi chiedi due o tre proposte basate sullo stesso documento, con una prova in ambiente di test prima dell'acquisto. Confronta le offerte su qualità delle risposte, sicurezza, costi di esercizio e facilità di manutenzione, non solo sul prezzo dell'hardware. Un progetto piccolo e misurato è il modo più sicuro per capire se l'AI in sede porta valore alla tua azienda.
Domande frequenti
Un modello in sede è all'altezza dei servizi cloud?
Dipende dal compito. Per attività generiche e ragionamenti molto complessi i modelli più grandi offerti come servizi esterni possono essere più capaci. Per compiti specifici e ripetitivi, come classificare documenti o rispondere su un archivio chiuso, un modello più piccolo e ben configurato può dare risultati adeguati. Confronta le risposte su domande reali dell'azienda, non su classifiche generiche.
Quanto costa un cluster GPU in sede?
Non esiste un prezzo standard. Il costo dipende dal numero di schede, dalla configurazione del server, dalle licenze del software, dall'installazione e dai costi continui di energia, raffreddamento e manutenzione. Per confrontare offerte diverse, chiedi a ciascun fornitore la stessa configurazione di riferimento e un prospetto dei costi annui, non solo il prezzo di acquisto.
Serve un team di data scientist per gestire il sistema?
Non sempre. Serve qualcuno che gestisca l'infrastruttura, con competenze di sistemistica e sicurezza, e un referente interno che conosca il caso d'uso e valuti le risposte. Un data scientist diventa utile quando si vogliono adattare i modelli ai dati aziendali. Molte aziende partono con un fornitore di gestione e una persona interna dedicata.
I documenti che carico finiscono nel modello?
In genere un modello già addestrato non impara dai documenti che gli passi durante l'uso. Il sistema però può copiarli in un indice di ricerca, scriverli nei log o usarli per generare risposte. Il rischio sta quindi nell'archiviazione e negli accessi più che nell'apprendimento. Chiedi al fornitore come è configurato il sistema su questi punti e fai verificare i log con una prova controllata.
Posso partire con un server e poi aggiungere capacità?
Sì, se l'architettura è pensata per crescere. Chiedi come si aggiungono schede o nodi, se rete e storage reggono la crescita e se il software distribuisce il carico tra più macchine. Partire piccoli è spesso prudente, a patto di non scegliere componenti che impediscano l'espansione successiva.
Dove conviene collocare il server?
Dipende dal controllo richiesto e dalle condizioni del locale. Un server in sede richiede accesso controllato, alimentazione stabile, raffreddamento e protezione fisica. Un ambiente gestito presso un fornitore può offrire queste condizioni, ma va valutato dove si trova, chi vi accede e con quali garanzie contrattuali.