Che hardware serve, in base al modello
La domanda giusta non è «quanto potente deve essere il PC?» ma «quale modello voglio far girare?». La memoria — RAM e soprattutto VRAM se hai una GPU — decide tutto. Regola pratica: un modello quantizzato in Q4 occupa in memoria circa metà dei suoi parametri in gigabyte.
| Modello | Memoria richiesta (Q4) | Dove gira bene |
|---|---|---|
| 3–4 miliardi di parametri (es. Qwen 4B) | ~3 GB | Qualunque PC degli ultimi anni, anche senza GPU |
| 7–8 miliardi (es. Llama 8B, Qwen 7B) | ~5–6 GB | PC con 16 GB di RAM o GPU con 8 GB di VRAM |
| 13–14 miliardi | ~9–10 GB | GPU da 12 GB o workstation con 32 GB di RAM |
| 30+ miliardi | ~20 GB in su | GPU dedicate (24 GB+) o server: roba da ufficio serio |
Per l'ufficio, la fascia 7–8 miliardi è il punto dolce: qualità utile per riassunti, bozze e Q&A sui documenti, e gira su hardware che avete già. Per lo stime di costo dettagliate c'è la guida dedicata.
I passaggi: Ollama e OpenWebUI
La strada più semplice nel 2026 usa due strumenti open source: Ollama, che scarica e fa girare i modelli, e OpenWebUI, che ci mette sopra un'interfaccia da chat nel browser.
- Installa Ollama dal sito ufficiale (Windows, macOS e Linux; su un server Linux vale il classico script di installazione).
- Da terminale scarica un modello:
ollama pull qwen3:8bper la fascia media,ollama pull qwen3:4bse la macchina è modesta. - Verifica che risponda:
ollama run qwen3:8be fai una domanda. Se risponde, il motore funziona. - Installa OpenWebUI (Docker o Python) e puntalo a Ollama: hai la chat in browser, con cronologia e gestione degli utenti, sulla tua rete.
- Collegalo ai tuoi documenti (RAG) solo quando i fondamentali girano: è il passo che trasforma la chat in un assistente utile.
Nessun dato lascia la macchina: sia Ollama sia OpenWebUI girano in locale, e i modelli open-weight non inviano nulla a nessuno. È questa la differenza rispetto agli assistenti di cloud pubblica.
Gli errori che vediamo più spesso
- Sottostimare la memoria. Se il modello non entra in RAM/VRAM, rallenta a passo d'uomo: meglio un modello più piccolo che uno zoppicante.
- Aspettarsi il modello «come ChatGPT». Un 8B locale è bravo in riassunto, estrazione e bozze; non è il frontier model. Per l'uso in ufficio spesso basta, ma conviene saperlo prima.
- Dimenticare la manutenzione. Modelli e tool si aggiornano; senza un minimo di routine, l'installazione marcisce. In azienda serve qualcuno che se ne occupi.
Quando ha senso farsi aiutare
Il fai-da-te è perfetto per provare. Quando l'AI diventa uno strumento di lavoro — documenti aziendali dentro, risposte affidabili, più utenti, permessi — servono scelte (quale modello, quale hardware, come indicizzare l'archivio) che sono un piccolo progetto. In quel caso il piano AI privata di Altovar copre valutazione, messa in opera e gestione su infrastruttura europea o direttamente in casa tua.
Domande frequenti
Serve internet per usare un'AI in locale?
No, dopo l'installazione: modello e interfaccia girano sulla tua macchina. La connessione serve solo per scaricare modelli e aggiornamenti.
Posso usare l'AI in locale anche senza GPU?
Sì, con modelli fino a 7–8 miliardi di parametri e una CPU recente e 16 GB di RAM: più lento che con una GPU, ma perfettamente usabile per prove e carichi leggeri.
I miei documenti restano davvero sul mio computer?
Sì: elaborazione e archivio stanno sulla macchina dove gira lo stack. Nessun contenuto viene inviato a servizi esterni, a meno che tu non li configuri esplicitamente.