Un Reel pubblicato su Instagram racconta una storia irresistibile: un developer italiano avrebbe eseguito un modello da 744 miliardi di parametri su un normale portatile, senza scheda grafica. Il progetto si chiama Colibrì, anche se nel video viene chiamato più volte “Calibri”. Secondo il Reel, il motore mantiene in memoria soltanto la parte necessaria del modello e legge il resto dal disco. La conclusione suggerita è netta: le costose GPU NVIDIA non sarebbero più indispensabili.[1]
La dimostrazione è autentica. Manca però il numero che cambia il senso della storia: sul portatile originale GLM-5.2 genera circa 0,05-0,1 token al secondo, a freddo.[3][4]
Una risposta da 500 token, poche centinaia di parole, richiede quindi da circa un’ora e venti minuti a quasi tre ore.
Colibrì prova che un modello enorme può funzionare su hardware consumer. Non lo trasforma in una chat fluida.
0101 Cos’è Colibrì
Colibrì è un motore di inferenza open source nato dal lavoro di Vincenzo Fornaro, conosciuto su GitHub come JustVugg. Il primo prototipo è stato scritto e provato su un portatile a 12 core con circa 25 GB di RAM disponibile, senza una GPU dedicata. L’obiettivo iniziale era eseguire GLM-5.2, un modello Mixture-of-Experts da circa 744 miliardi di parametri, usando la memoria e l’SSD già presenti nel computer.[2][6]
Il progetto è scritto principalmente in C ed è distribuito con licenza Apache 2.0. Nel frattempo è cresciuto: la release 2.1.0 include backend CPU, CUDA, Vulkan e Metal, un’API compatibile con OpenAI e supporto per diverse famiglie di modelli.[2][7]
Il server locale parte sulla macchina dell’utente. Le richieste possono quindi rimanere all’interno della rete, purché non vengano aggiunti servizi esterni e il server non venga esposto senza protezioni. Questa caratteristica interessa chi lavora con documenti sensibili o vuole sperimentare senza inviare ogni prompt a un provider cloud.
0202 Come fa un modello da 744B a entrare in 25 GB di RAM
GLM-5.2 usa un’architettura Mixture-of-Experts, abbreviata in MoE. Il modello contiene molti gruppi di pesi specializzati, ma per ogni token ne attiva soltanto una parte. I parametri totali sono circa 744 miliardi; quelli attivi per token sono circa 40 miliardi.[3]
Colibrì divide il lavoro tra memoria veloce e memoria capiente. La parte densa del modello, che comprende attenzione, embedding ed esperti condivisi, resta in RAM. Quantizzata a 4 bit occupa circa 9,9 GB. Gli esperti selezionati dinamicamente rimangono sull’SSD e vengono letti quando il router del modello li richiede. La documentazione stima circa 11 GB di pesi instradati per token nel caso più sfavorevole a cache fredda.[3][4][6]
L’idea assomiglia a un banco di lavoro davanti a un grande magazzino. Sul banco restano gli strumenti usati sempre; gli altri arrivano dagli scaffali quando servono. Il limite fisico diventa la velocità con cui il magazzino riesce a consegnarli.
Per questo l’SSD conta così tanto. Se ogni token richiede miliardi di byte letti dal disco, la velocità di generazione dipende dal throughput del drive, dalla cache, dalla quantità di RAM disponibile e da quanto spesso il modello riutilizza gli stessi esperti.

0303 Requisiti e prestazioni reali
La configurazione attuale consigliata per GLM-5.2 richiede circa 429 GB liberi su disco. Il minimo dichiarato è 16 GB di RAM, mentre 24 GB o più lasciano un margine migliore. La GPU è facoltativa; un NVMe veloce è molto più importante di quanto suggerisca il semplice requisito di spazio.[3][5]
I benchmark pubblicati dal progetto mostrano differenze ampie:
- il portatile originale con 25 GB di RAM genera circa 0,05-0,1 token al secondo a cache fredda;
- un sistema CPU-only con 128 GB di RAM e Ryzen AI Max+ 395 arriva a circa 1,83 token al secondo;
- una macchina con sei RTX 5090, capace di mantenere gli esperti in memoria veloce, raggiunge circa 9-9,2 token al secondo.[3][4]

Questi numeri provengono dall’autore e dai contributori del progetto. Sono utili per capire l’ordine di grandezza, ma non sostituiscono un confronto indipendente eseguito con lo stesso modello, la stessa quantizzazione, gli stessi prompt e una procedura ripetibile.
Anche il dato da 370 GB citato nel Reel appartiene alla prima fase del progetto. La guida attuale raccomanda un container int4 group-scaled da circa 429 GB. Le vecchie conversioni per-row risultavano circa nove punti percentuali peggiori nei benchmark di qualità e potevano produrre ripetizioni o generazioni che non terminavano.[5]
0404 Che cosa racconta bene il Reel e che cosa omette
Il Reel coglie il punto tecnico principale: una GPU non è obbligatoria per eseguire un grande modello MoE. Colibrì usa una gerarchia composta da VRAM, RAM e SSD, spostando gli esperti tra i diversi livelli. Il modello può restare locale e il codice è disponibile pubblicamente.[1][2]
La frase “solo 10 GB del modello stanno pensando” è invece troppo semplice. I 9,9 GB indicano soprattutto la parte densa residente. GLM-5.2 attiva circa 40 miliardi di parametri per token e Colibrì deve continuare a recuperare gli esperti richiesti dal disco.
La quantità di RAM necessaria scende, ma il lavoro non scompare: cambia posto e diventa traffico di storage.[3][6]

Anche l’espressione “high performance AI senza GPU costose” merita cautela. La macchina originale impiega tra dieci e venti secondi per generare un singolo token. Una breve risposta può richiedere ore. È una prestazione sufficiente per dimostrare l’architettura, svolgere esperimenti o avviare lavori batch pazienti. Non è adatta a una conversazione naturale o a un assistente di coding interattivo.
La battuta sui cloud provider che dovrebbero preoccuparsi funziona bene in un video breve. I conti operativi sono meno spettacolari. Un’API a consumo può costare pochi centesimi per una prova occasionale e restituisce il risultato in tempi molto inferiori. L’esecuzione locale richiede centinaia di gigabyte di storage, configurazione, aggiornamenti e un computer impegnato per tutta la durata del lavoro.
0505 Quando Colibrì può avere senso
Colibrì è interessante come piattaforma di ricerca. Permette di osservare il routing degli esperti, sperimentare strategie di cache e misurare quanto la gerarchia tra GPU, RAM e storage possa sostituire una parte della memoria costosa. Rende inoltre accessibili modelli che su una macchina consumer non partirebbero affatto.
Può avere senso anche per elaborazioni offline con vincoli forti sui dati, quando il tempo non è prioritario. Un documento può essere analizzato durante la notte. Una coda batch può attendere. Un laboratorio può studiare un modello di frontiera senza acquistare subito un server multi-GPU.
L’uso quotidiano pone richieste diverse. Una chat deve rispondere mentre la persona è ancora davanti allo schermo. Un agente di programmazione deve leggere file, proporre una patch, eseguire test e correggersi più volte. Un servizio aziendale deve gestire più utenti. In questi casi la latenza si moltiplica a ogni passaggio e il vantaggio di poter caricare il modello non basta.
Il progetto supporta oggi anche modelli più piccoli e altre famiglie, compreso Qwen3.8-27B. Nel caso di un modello denso, però, il vantaggio specifico dello streaming degli esperti si riduce: non esistono migliaia di esperti inattivi da lasciare sul disco. La quantità di memoria e la banda disponibile tornano a essere i vincoli principali.[3]
0606 Il verdetto
Colibrì è buona ingegneria. Affronta un problema concreto con un’idea misurabile, pubblica i limiti e non nasconde il valore più scomodo: 0,05-0,1 token al secondo sul computer da cui è partito il progetto.[3][4]
Il Reel racconta correttamente la fattibilità, ma la usa per suggerire una praticità che i benchmark non confermano.
Far partire un modello da 744 miliardi di parametri su un portatile è un risultato notevole. Aspettare ore per una risposta lo rende inadatto alla maggior parte dei flussi interattivi.
Colibrì merita attenzione se vuoi studiare l’inferenza MoE, mantenere un carico batch completamente locale o capire fin dove può arrivare l’hardware che possiedi già. Se cerchi un assistente rapido, un servizio multiutente o un agente che esegua molti passaggi consecutivi, una GPU adeguata o un’API restano opzioni più realistiche.
Il risultato più utile riguarda il modo in cui memoria e calcolo possono essere distribuiti tra GPU, RAM e storage, pagando un prezzo preciso in latenza. Le GPU restano decisive quando servono risposte rapide o più richieste contemporanee. Questa distinzione conta molto più del numero di parametri prima di acquistare hardware o scaricare 429 GB di modello.
0707 FAQ
Colibrì esegue davvero GLM-5.2 su un portatile senza GPU?
Sì. Il progetto nasce proprio su un portatile a 12 core con circa 25 GB di RAM disponibile e usa l’SSD per conservare e leggere gli esperti del modello.[4][6]
Il modello occupa soltanto 10 GB?
No. Circa 9,9 GB della parte densa rimangono in RAM, mentre centinaia di gigabyte di esperti quantizzati restano sul disco. La distribuzione consigliata occupa circa 429 GB.[3][5]
Quanto è veloce sul portatile originale?
Il valore dichiarato a cache fredda è circa 0,05-0,1 token al secondo. Significa da dieci a venti secondi per token, prima di considerare l’elaborazione iniziale del prompt.[3][4]
Serve un SSD NVMe?
Per GLM-5.2 è fortemente consigliato. La velocità del disco incide direttamente sulla generazione perché il motore deve leggere gli esperti selezionati durante l’inferenza.[4][5]
I dati restano privati?
Possono restare sulla macchina se modello, server e applicazioni collegate sono eseguiti localmente. La privacy dipende comunque dalla configurazione: plugin, ricerche web, telemetria aggiunta dall’utente o un server esposto in rete possono modificare questo perimetro.
Può sostituire un provider cloud?
In alcuni carichi batch o di ricerca sì. Per chat, coding interattivo, più utenti o risposte con tempi prevedibili, le prestazioni dell’hardware consumer rimangono il limite principale.
08Fonti
[1] Reel Instagram analizzato — https://www.instagram.com/reel/DfjSYzEoOqg
[2] Repository Colibrì al commit verificato — https://github.com/JustVugg/colibri/tree/0a5504a1dc64f86fcd0fe7db298b0448c730e7e6
[3] README e architettura dichiarata — https://github.com/JustVugg/colibri/blob/0a5504a1dc64f86fcd0fe7db298b0448c730e7e6/README.md
[4] Benchmark pubblicati dal progetto — https://github.com/JustVugg/colibri/blob/0a5504a1dc64f86fcd0fe7db298b0448c730e7e6/docs/benchmarks.md
[5] Guida rapida e requisiti — https://github.com/JustVugg/colibri/blob/0a5504a1dc64f86fcd0fe7db298b0448c730e7e6/docs/quickstart.md
[6] Presentazione originale su Hacker News — https://news.ycombinator.com/item?id=48842459
[7] Release Colibrì v2.1.0 — https://github.com/JustVugg/colibri/releases/tag/v2.1.0
Pubblicato il 11 nov 2026.
