1. Perché non esiste un modello migliore in assoluto
Un LLM (large language model) è un modello linguistico addestrato su grandi quantità di testo. Le classifiche pubbliche misurano compiti standard, come generare codice, rispondere a domande di ragionamento o analizzare testi giuridici. Sono utili per capire le tendenze generali, ma non dicono come il modello si comporterà sui tuoi contratti, sulle tue email o sul tuo codice, che hanno un vocabolario e regole tutti loro.
Per un'azienda contano altri criteri: qualità della lingua italiana, lunghezza del testo che il modello può gestire in una volta, licenza d'uso, requisiti hardware, costi di esercizio e possibilità di controllare dove vengono elaborati i dati. Un modello primo in classifica può essere la scelta sbagliata se richiede un'infrastruttura che non sei in grado di mantenere nel tempo. Chiedi al fornitore quale impegno richiede ciascun modello.
2. Le famiglie citate: cosa valutare
Llama 3.3, DeepSeek, Mistral e Qwen sono famiglie di modelli aperti, ciascuna con più versioni e dimensioni. Una famiglia non è un giudizio unico: le versioni più piccole e quelle più grandi si comportano in modo diverso, e le revisioni successive possono cambiare il risultato anche a parità di nome. Per questo il nome va sempre accompagnato dalla versione esatta, dalla dimensione e dalla data di rilascio.
Anche la parola open non significa la stessa cosa in ogni caso. Alcune licenze sono permissive, altre hanno limiti d'uso o condizioni particolari, per esempio per le organizzazioni di una certa dimensione. Leggi la licenza con un responsabile legale, controlla se l'uso commerciale è consentito e quali obblighi comporta la distribuzione del modello all'interno dell'organizzazione o verso i clienti. Conserva una copia della licenza nella documentazione del progetto.
3. Dimensione, contesto e costo di esercizio
La dimensione di un modello, misurata in miliardi di parametri, influisce su qualità, memoria richiesta e velocità di risposta. Più grande spesso significa più capacità, ma anche più hardware ed energia. La finestra di contesto indica quanto testo il modello può considerare in una volta: se devi analizzare contratti lunghi o archivi di pratiche, questo limite è decisivo quanto la qualità della risposta.
Il costo di esercizio non è solo l'hardware. Contano energia, raffreddamento, manutenzione, aggiornamenti e le ore di chi gestisce il sistema. Un modello più piccolo che svolge il lavoro richiesto spesso costa meno di uno più grande usato per compiti semplici. La scelta va fatta sulla base di test, non sul prestigio del nome, e il test deve includere anche il costo di gestione nel tempo.
| Classe | Compiti in genere adatti | Hardware necessario | Note |
|---|---|---|---|
| Piccoli, circa 8 miliardi di parametri | Classificazione, estrazione semplice, bozze brevi | Una scheda grafica di fascia media o un server contenuto | Più rapidi, ma meno robusti su testi complessi |
| Medi, circa 32 miliardi di parametri | Analisi di documenti, supporto alla redazione, domande su archivi | Una scheda di classe data center con memoria adeguata | Buon compromesso da testare sui propri casi |
| Grandi, circa 70 miliardi di parametri | Compiti complessi e ragionamento articolato | Più memoria o più schede, con costi di esercizio maggiori | Richiedono un'infrastruttura pianificata |
4. Come valutare un modello sui tuoi dati
Costruisci un insieme di casi reali, anonimizzati quando contengono dati personali, con una risposta di riferimento scritta da chi conosce il lavoro. Includi i casi difficili: documenti ambigui, scansioni imperfette, richieste fuori perimetro. Un insieme piccolo ma rappresentativo vale più di un test generico trovato in rete, perché misura proprio ciò che ti interessa. Aggiorna il set man mano che emergono casi nuovi in produzione.
Misura più dimensioni: correttezza delle risposte, rispetto del formato richiesto, capacità di dichiarare i limiti, tempo di risposta e costo per compito. Fai valutare i risultati a un esperto del dominio, senza indicare quale modello ha prodotto ciascuna risposta, per evitare pregiudizi. Gli errori più pericolosi non sono quelli evidenti, ma quelli plausibili che nessuno controlla. Registra gli errori trovati, perché diventano nuovi casi di test.
5. Licenze, dati e responsabilità
Il modello è solo una parte del sistema. Vanno valutati anche i dati che invii, i log e le eventuali funzioni di memoria. Chiedi per iscritto se i dati vengono usati per addestrare modelli, per quanto tempo vengono conservati e dove sono elaborati. Dove sono conservati i dati e chi può legalmente accedervi sono domande diverse, e vanno trattate separatamente nel contratto.
Per i dati personali valgono i principi del GDPR: base giuridica, minimizzazione, sicurezza e, quando serve, una valutazione d'impatto. La responsabilità dell'uso dell'output resta in capo all'azienda che lo utilizza. Un modello può sbagliare con sicurezza: la regola interna deve dire chi verifica una risposta prima che entri in un documento ufficiale, e con quali criteri. Indica anche chi firma il documento finale.
6. Checklist di valutazione
Prima di scegliere, definisci i criteri e il modo in cui li misurerai. Questa lista serve a non cambiare idea a metà del percorso e a rendere la decisione spiegabile a chi la deve approvare. Ogni voce andrebbe chiusa con un responsabile e con un risultato scritto, non con una sensazione. Così la decisione resta difendibile anche tra sei mesi, davanti a chiunque la contesti.
Se un criterio non è misurabile, riscrivilo finché non lo è. Un confronto basato su impressioni porta quasi sempre alla scelta del modello più noto, non di quello più adatto al tuo lavoro, e il problema emerge solo dopo mesi di utilizzo. Quando il confronto è scritto, anche la scelta successiva diventa semplice. Il tempo speso sui criteri all'inizio ripaga sempre.
- Licenza letta da un responsabile, incluso l'uso commerciale.
- Qualità in italiano verificata sui tuoi documenti, non solo su test generici.
- Lunghezza del contesto compatibile con i documenti più lunghi.
- Requisiti hardware confermati dal fornitore o con un test.
- Prova di sicurezza su istruzioni nascoste nei documenti e sulla fuga di informazioni.
- Metriche definite prima dei test, non dopo.
- Piano di aggiornamento: quando e come cambiare versione.
7. Come iniziare
Scegli due candidati di dimensione simile, uno da eseguire in sede e uno come servizio cloud se la riservatezza lo consente, e confrontali sullo stesso insieme di casi. Documenta i risultati in una tabella semplice: qualità, rispetto del formato, tempi e costo stimato. Un confronto così strutturato dura poco e produce una decisione che si può difendere davanti alla direzione.
Poi decidi con criteri scritti e rivedi la scelta quando esce una versione nuova. Non cambiare modello senza ritestare: una versione più recente può migliorare alcuni compiti e peggiorarne altri. Chiedi al tuo fornitore IT o al consulente di preparare il piano di test e di gestire gli aggiornamenti, così che la scelta resti governata nel tempo. Riporta questi passaggi nel verbale della decisione.
Domande frequenti
Qual è il modello open-source migliore per l'italiano?
Non c'è una risposta valida in assoluto, e le classifiche cambiano in fretta. Il metodo corretto è testare due o tre candidati su un insieme di documenti italiani reali, con risposte di riferimento. Valuta la correttezza, il rispetto del formato e la capacità di dichiarare i limiti. La scelta che emerge dal tuo test è più affidabile di qualsiasi punteggio pubblico.
Un modello aperto è sempre gratuito?
Il modello può essere scaricato senza pagare una licenza, ma l'uso non è gratuito. Ci sono costi di hardware, energia, gestione e personale competente. Inoltre la licenza può imporre condizioni d'uso che vanno lette con attenzione. Calcola il costo totale su un periodo realistico, non solo il prezzo di acquisto del server.
Posso usare un modello open-source per documenti riservati?
Sì, se il modello e l'infrastruttura sono controllati dall'azienda o da un fornitore con impegni scritti. Il punto critico non è il modello ma il sistema intorno: log, aggiornamenti, supporto remoto e chi può accedere ai dati. Documenta ogni componente e chiedi al fornitore un elenco scritto dei punti di accesso.
Ogni quanto conviene cambiare modello?
Non esiste una cadenza fissa. Conviene riesaminare la scelta quando esce una versione rilevante, quando cambiano i requisiti o quando il test interno mostra un calo di qualità. Ogni cambio va accompagnato dallo stesso insieme di test, perché una versione nuova può migliorare alcuni compiti e peggiorarne altri.
I benchmark pubblici servono a qualcosa?
Servono a restringere la lista dei candidati, perché indicano come un modello si comporta su compiti standard. Non dicono però come lavorerà sui tuoi documenti, né quanto è affidabile in italiano nei tuoi processi. Usali come primo filtro, poi decidi con un test sui casi reali della tua azienda.