AI·Concreta

AI locale: bella idea, ma non è per tutti

Test reali su modelli AI locali: hardware accessibile, limiti operativi, costi nascosti e quando una soluzione ibrida conviene davvero.

AutoreDavide
Pubblicato11 novembre 2026
Lettura8 minuti
Parole1518
CategoriaTutorial e deep-dive

Un modello AI che gira sul proprio computer è una prospettiva attraente. I dati restano in casa, non si paga ogni singola chiamata API e si riduce la dipendenza da un fornitore esterno. Sulla carta sembra la soluzione ideale per professionisti e piccole aziende.

Il problema è che far partire un modello non significa avere un agente affidabile.

Nelle ultime settimane abbiamo provato a costruire un piccolo agente completamente locale. L’obiettivo non era ottenere una chat capace di rispondere a qualche domanda, ma verificare se potesse leggere file, modificarli, eseguire test, recuperare da un errore e fermarsi davanti a una richiesta ambigua.

01Un test pensato per hardware accessibile

Volevamo capire che cosa può ottenere chi non intende spendere oltre mille euro per una scheda video di fascia alta o quasi 5.000 dollari per un sistema specializzato come NVIDIA DGX Spark.[4]

Abbiamo quindi scelto una configurazione volutamente modesta: un PC Windows con NVIDIA RTX 5060 da 8 GB di memoria video e 16 GB di RAM, usando Ollama come motore locale. È un computer consumer recente, più potente del portatile medio da ufficio, ma ancora vicino a ciò che un professionista o una piccola impresa potrebbero acquistare.

Abbiamo provato modelli tra circa 2 e 9 miliardi di parametri, tra cui Qwen, MiniCPM, Nemotron, Granite e DeepSeek. Ogni modello ha ricevuto piccoli compiti ripetibili: correggere una funzione Python, creare un JSON esatto, rileggere il risultato, unire valori presi da due file, recuperare dopo un errore e non dichiarare un’attività completata senza una prova.

02Il punto debole non era soltanto la velocità

Alcuni modelli erano abbastanza rapidi. Altri riuscivano perfino a superare un semplice test di programmazione. Le difficoltà sono emerse quando abbiamo chiesto affidabilità operativa.

Qwen3.5 da 4B ha corretto con successo un piccolo esercizio Python, ma nella matrice avanzata ha superato soltanto due prove su sei. In più occasioni ha dichiarato corretto un file che conteneva dati sbagliati.

Granite ha creato rapidamente un JSON valido, ma davanti al compito di programmazione non ha usato alcuno strumento. Ha descritto modifiche e test che non erano mai avvenuti.

MiniCPM e Nemotron hanno chiamato gli strumenti, ma hanno prodotto contenuti diversi da quelli richiesti e li hanno comunque dichiarati corretti. Una sequenza di caratteri come \n, per esempio, è stata trattata come se fosse una vera interruzione di riga.

DeepSeek-R1-0528-Qwen3-8B è stato il caso più pesante. A 64K di contesto ha occupato circa 15,5 GB tra memoria video e RAM, generando circa 12 token al secondo. Nel test di programmazione non ha effettuato nessuna chiamata agli strumenti, non ha modificato file e ha inventato l’esito positivo dei test. Nella matrice avanzata ha superato una sola prova su sei; tre prove sono terminate dopo cinque minuti senza produrre il file richiesto.

Qwen3.5 da 9B ha dato segnali migliori nei test preliminari, superando sia il compito Python sia una scrittura JSON verificata. È però più lento e richiede memoria aggiuntiva. La matrice avanzata deve ancora stabilire se il miglioramento è sufficiente per un uso autonomo.

03Perché 32 o 64 GB di RAM non risolvono il problema

Aggiungere RAM permette di caricare modelli più grandi, ma non li rende automaticamente veloci. Un 32B quantizzato a 4 bit occupa circa 18–20 GB soltanto per i pesi. In un benchmark su un processore server AMD EPYC a 64 core, Qwen3-32B Q4 ha generato circa 13,5 token al secondo.[2] Su un normale PC con 8 GB di VRAM, dove gran parte del modello deve essere letta dalla RAM di sistema, una stima prudente è nell’ordine di 2–6 token al secondo. È una stima tecnica, non una misura effettuata sul nostro computer.

Se il modello entra interamente in una GPU da 24 o 32 GB, la situazione cambia. Un benchmark comunitario riporta circa 69,5 token al secondo per Qwen3-32B a 4 bit su RTX 5090 da 32 GB.[3] Ma una GPU di questa fascia costa molto, assorbe più energia e lascia meno memoria disponibile quando il contesto cresce.

Abbiamo anche effettuato prove con un sistema agentico come Hermes, che nel nostro setup richiedeva un contesto dichiarato di almeno 64K token. È lo spazio di lavoro che il modello usa per tenere insieme istruzioni, strumenti disponibili, cronologia e risultati delle operazioni.

Questo spazio di lavoro occupa memoria. Nel caso di Qwen3-32B, 64K token possono aggiungere circa 16 GB per una sola sessione, oltre ai 18–20 GB già necessari per i pesi del modello.[1] Esistono tecniche per ridurre quella memoria, ma introducono altri compromessi tra qualità e prestazioni.

Questo significa che 32 GB di RAM possono essere appena sufficienti per caricare modello, cache e sistema operativo; 64 GB danno più margine, ma non aumentano da soli i token al secondo. Su una macchina consumer la pianificazione realistica è una sessione agentica lunga alla volta. Due sessioni brevi possono convivere, ma condividono la stessa banda di memoria e ciascuna mantiene il proprio contesto. Due agenti contemporanei a 64K non sono un carico prudente per una workstation da 64 GB.

Anche l’etichetta “MoE” può trarre in inganno. Dire che un modello usa pochi parametri attivi per ogni token descrive il costo di calcolo, non tutta la memoria necessaria per ospitare i pesi. Un modello con 3 miliardi di parametri attivi e decine di miliardi totali non occupa lo spazio di un normale 3B.

04I vincoli non sono solo hardware

I modelli locali più piccoli hanno mostrato difficoltà anche con prompt strutturati e contratti di output rigidi. Aggiungere istruzioni, esempi, schemi degli strumenti e regole di sicurezza aiuta, ma rende il contesto più lungo e non elimina le interpretazioni sbagliate. Nel nostro test, un semplice prefisso aggiunto dal lettore di file è stato scambiato per contenuto reale e copiato nell’artefatto finale.

Il rischio cresce quando il modello può modificare file, pubblicare contenuti, inviare messaggi o intervenire su sistemi aziendali. In quel caso una risposta plausibile non basta. Serve un verificatore esterno che controlli file, byte, test, perimetro delle modifiche e side effect. Il modello non può essere l’unico giudice del proprio lavoro.

Ma anche il verificatore ha un costo. Se per controllare ogni passaggio serve un secondo modello più capace, stiamo consumando proprio i token del modello “senior” che volevamo risparmiare. Quando il supervisore deve rileggere tutto, rifare i controlli e correggere spesso il risultato, può essere più economico affidargli direttamente il compito. Il modello locale conviene quando la verifica è automatica e deterministica, oppure quando il modello più potente interviene solo sulle eccezioni.

Questi risultati non dimostrano che l’AI locale sia inutile. Mostrano che, a meno di investire migliaia di euro in hardware e tempo di configurazione, presenta ancora limiti molto concreti e va impiegata in ambiti ben delimitati.

05Il costo dell’energia e della manutenzione

Il prezzo dell’AI locale non coincide con quello della scheda video. Comprende configurazione, aggiornamenti, test, supervisione, tempo perso nei tentativi falliti ed energia elettrica.

In Italia questa voce non è trascurabile. Per il cliente tipo vulnerabile in Maggior Tutela, ARERA ha indicato 31,63 centesimi per kWh nel terzo trimestre 2026 e 43,43 centesimi nel quarto, con un aumento trimestrale del 37,3%.[5][6] Non è la tariffa di ogni impresa, ma mostra quanto il costo possa variare. La stessa Autorità aveva collegato parte degli aumenti del secondo trimestre all’incertezza sui mercati internazionali dovuta al conflitto in Medio Oriente.[7]

Una workstation che assorbe 400–700 watt per otto ore al giorno consuma circa 96–168 kWh al mese. Alle tariffe di riferimento citate significa decine di euro mensili; se resta sotto carico giorno e notte, il costo può superare i cento euro al mese. Per un uso saltuario l’energia pesa meno dell’hardware. Per un servizio sempre acceso e condiviso diventa invece una voce operativa reale.

06Dove l’AI locale ha senso

Un modello piccolo può essere adatto a classificare testi, estrarre dati, preparare una bozza, trascrivere contenuti o suggerire una modifica. Funziona meglio quando il compito è ristretto, il risultato può essere controllato automaticamente e un errore non produce conseguenze immediate.

Per molte PMI la soluzione più pratica è ibrida. I modelli locali possono lavorare come operatori specializzati su dati sensibili e task verificabili. Un modello cloud più capace, o comunque un livello “senior”, può gestire decisioni complesse, ambiguità e casi che richiedono maggiore affidabilità. I passaggi delicati restano soggetti a controlli deterministici e approvazione umana.

Prima di acquistare nuovo hardware conviene quindi partire dal processo: quali dati devono davvero restare in azienda? Quali risultati possono essere controllati automaticamente? Quanto costa un errore? Quante sessioni devono funzionare insieme? E quante ore siamo disposti a dedicare alla manutenzione?

L’AI locale è una buona idea quando risolve un vincolo concreto. Diventa una cattiva idea quando viene scelta soltanto perché sembra gratuita, privata e indipendente. Un modello installato sul proprio computer può essere utile. Un agente affidabile, veloce e multiutente è un obiettivo molto più difficile.

07Fonti

[1] Qwen3-32B configuration — https://huggingface.co/Qwen/Qwen3-32B/blob/main/config.json

[2] Qwen3-32B Q4 CPU benchmark on AMD EPYC 9554 — https://ahelpme.com/ai/llama-bench-the-qwen3-32b-and-amd-epyc-9554-cpu

[3] Qwen3-32B 4-bit community GPU benchmarks — https://llm-speed.com/m/qwen3-32b

[4] NVIDIA DGX Spark price change announcement — https://forums.developer.nvidia.com/t/2-23-2026-price-change-announcement/361713

[5] ARERA electricity price update, Q3 2026 — https://www.arera.it/fileadmin/allegati/com_stampa/26/Aggiornamento_Maggior_Tutela_III_trimestre_2026.pdf

[6] ARERA electricity price update, Q4 2026 — https://www.arera.it/fileadmin/allegati/com_stampa/26/Comunicato_stampa_ARERA_aggiornamento_Maggior_Tutela_IV_TRIM_2026.pdf

[7] ARERA electricity price update, Q2 2026 — https://www.arera.it/fileadmin/allegati/com_stampa/26/Comunicato_ARERA_aggiornamento_Maggior_Tutela_II_trimestre_2026.pdf

TagAI localeLLM localiPMIagenti AI
Condividi

Pubblicato il 11 nov 2026.

Resta aggiornato

Appunti e curiosità da chi con l'AI
ci lavora davvero.

Articoli, paper segnalati e curiosità tecniche selezionate. Nessuno spam, cancellazione in 1 click.

Niente spam · Cancellazione 1 click · GDPR