Per decenni la CPU è stata trattata come una risorsa generica: aumentavi la frequenza, aggiungevi core e i problemi di elaborazione si risolvevano semplicemente da soli. Questa comodità ha creato una pericolosa dipendenza intellettuale. I leader tecnologici iniziarono a ignorare l’hardware come variabile strategica, delegando la scelta ai team infrastrutturali che acquistarono ciò che era nel catalogo. Si trattava di una semplificazione accettabile in un mondo in cui i carichi di lavoro aziendali – report, transazioni, pagine web – avevano profili computazionali simili. Questo modello ha funzionato finché i carichi di lavoro erano relativamente omogenei. Con l’intelligenza artificiale generativa, l’inferenza su larga scala e l’elaborazione integrata, tutto è crollato per sempre. L’hardware è ancora una volta una scelta dalle conseguenze reali.
Perché la CPU ha perso il suo ruolo di leader
La CPU è progettata per la versatilità. Esegue istruzioni sequenziali con molta logica di controllo, cache sofisticate e meccanismi di previsione dei salti. Per un database transazionale o un server web, questo è esattamente ciò di cui hai bisogno. Addestrare una rete neurale con miliardi di parametri è uno spreco enorme. La maggior parte del silicio è occupata da una logica che non viene mai attivata in quel tipo di carico.
Il problema principale è che le operazioni di machine learning sono matematicamente ripetitive. Moltiplicazioni di matrici, convoluzioni, operazioni di attivazione: tutte queste beneficiano di un massiccio parallelismo, non di flessibilità. La GPU è stata la prima a sfruttare questo aspetto, con migliaia di semplici core che operano insieme. Ma anche la GPU è un compromesso, originariamente progettata per la grafica e adattata per l'intelligenza artificiale. Il risultato è un hardware potente, ma con efficienza energetica e di costi che lascia ancora spazio a qualcosa di più specializzato.
Cosa fanno diversamente TPU, NPU e ASIC
Il TPU, sviluppato da Google, è stato realizzato appositamente per operazioni di algebra lineare su larga scala. Non cerca di essere un processore generico con capacità di intelligenza artificiale: fa una cosa molto bene, ovvero eseguire le operazioni tensoriali che sono alla base dei modelli TensorFlow e, più recentemente, JAX. Il costo per operazione diminuisce drasticamente quando l'hardware non è in grado di sostenere il peso di funzionalità che non verranno mai utilizzate in quel contesto.
La NPU, a sua volta, gioca un gioco diverso. Invece di addestrare i modelli nel cloud, esegue l'inferenza direttamente sul dispositivo, che si tratti di uno smartphone, di un sensore industriale o di un'auto a guida autonoma. Apple ha integrato le NPU nei chip della serie A dal 2017 e i risultati sono visibili: riconoscimento facciale, traduzione in tempo reale e generazione di testo locale che non dipende dalla connessione ai server. Qualcomm e MediaTek hanno seguito l'esempio con i loro SoC. Quello che sembrava un futuro lontano è diventato lo standard nei telefoni premium e sta rapidamente scendendo nel mercato di fascia media.
L'ASIC rappresenta l'estremo della specializzazione. Si progetta un chip per risolvere un problema specifico e solo quel problema, con la massima efficienza e un costo marginale molto basso nella produzione in serie. I minatori di Bitcoin sono stati i primi a dimostrare la portata di questo ragionamento. Oggi, aziende come Groq e Cerebras costruiscono ASIC per l'inferenza LLM con latenza e costo per token che le GPU generiche semplicemente non possono eguagliare nello stesso involucro di potenza.
L'FPGA come punto intermedio che pochi considerano
Tra l'ASIC e la GPU c'è un territorio poco esplorato dai team di prodotto: l'FPGA. Il campo programmabile delle porte logiche consente di riconfigurare l'hardware dopo la produzione, eliminando il rischio di fare affidamento su una progettazione fissa prima che il prodotto sia maturo. Microsoft usa FPGA sui server di Azure per l'accelerazione della rete e l'inferenza specifica del modello. Intel ha acquistato Altera proprio per conquistare questo mercato.
Per i prodotti che necessitano di un'accelerazione personalizzata ma non hanno ancora volume sufficiente per giustificare il proprio ASIC, l'FPGA offre una via di mezzo intelligente. Il costo per unità è superiore a quello di un ASIC di volume, ma il rischio di sviluppo è drasticamente inferiore. I team che ignorano questa opzione tendono a cadere in uno di questi due errori: rimangono bloccati con la CPU per conservatorismo oppure scommettono sull'ASIC troppo presto e devono rifare il progetto quando il prodotto cambia. L'FPGA consente di guadagnare tempo per apprendere senza sprecare l'investimento.
La decisione sul chip come decisione sul prodotto
Ecco il punto che la maggior parte delle organizzazioni non ha ancora interiorizzato: la scelta dell’hardware non è più esclusivamente una decisione infrastrutturale ed è diventata una variabile di prodotto con un impatto diretto su costi, latenza, privacy ed esperienza dell’utente. Lo strato di silicio è ancora una volta importante e ignorarlo è un vantaggio che stai cedendo al tuo concorrente.
Quando decidi di eseguire l'inferenza AI sul tuo dispositivo invece che nel cloud, scegli la privacy dei dati, la latenza zero e il funzionamento offline. Questa non è una preferenza tecnica. È una promessa di prodotto. E dipende da una NPU adeguata sull'hardware di destinazione. Se il tuo pubblico di destinazione utilizza dispositivi con chip che non dispongono di una NPU efficiente, l'esperienza del prodotto sarà negativa indipendentemente dalla qualità del modello.
Allo stesso modo, la decisione di utilizzare i TPU proprietari di Google Cloud rispetto alle GPU di NVIDIA rispetto agli ASIC come quelli di Groq non è solo una questione di prezzo per ora di calcolo. Riguarda la latenza della risposta, la capacità di scalare i picchi di domanda, il costo per query che il tuo modello di business deve supportare. I team di prodotto che lasciano questa decisione interamente all’infrastruttura stanno, in pratica, esternalizzando una variabile competitiva centrale.
La domanda strategica corretta non è più “di quante GPU abbiamo bisogno?” e divenne "quale geometria del chip serve meglio questo carico di lavoro specifico, in questo contesto di distribuzione, con questo costo e questo livello di latenza?" Questa domanda richiede che prodotto, ingegneria e infrastruttura siano seduti allo stesso tavolo. Le organizzazioni che trattano ancora l'hardware come un dettaglio dell'approvvigionamento lo scopriranno nel modo più duro quando un concorrente offrirà la stessa funzionalità a un terzo del costo operativo perché ha fatto quella scelta deliberatamente.
Leggi anche
- Chip di inferenza e ASIC: quando lo specializzato batte il generico
- La nuova generazione di chip: GPU, NPU, ASIC e RISC-V per chi decide
- PC AI e NPU: cosa cambia quando il dispositivo ottiene l'acceleratore AI
- Computazione neuromorfica e bio-ispirata: quando il chip inizia ad apprendere dal cervello
- Come costruire un business case per l'intelligenza artificiale nelle operazioni industriali
- Energia IA e sovranità: cosa devono pianificare i governi adesso