C’è un presupposto confortevole che domina la maggior parte delle decisioni sull’infrastruttura AI: la GPU è il chip AI. Se devi eseguire un modello, usi la GPU. Il ragionamento ha un valore storico: la GPU è stato l’hardware che ha reso praticabile il deep learning su larga scala e il mercato del cloud è stato costruito attorno ad esso. Il problema è che questa presupposizione è diventata un’abitudine, e l’abitudine è costosa quando esiste un’alternativa più efficiente per il tuo carico specifico.
Perché la GPU ha dominato e perché la situazione inizia a cambiare
La GPU ha vinto il mercato dell’intelligenza artificiale grazie alla flessibilità, non all’efficienza. Esegue operazioni su matrici in parallelo abbastanza bene sia per i modelli di addestramento che per l'inferenza - e ragionevolmente bene su due domini diversi è un vantaggio quando non si sa ancora quale sarà il carico dominante.
Il problema inizia quando il carico si stabilizza. La formazione di un modello di grandi dimensioni è un evento; Fornire risposte a utenti reali è un'operazione continua, prevedibile e ripetitiva. Lo stesso tipo di calcolo, miliardi di volte al giorno. In questo regime, la flessibilità della GPU diventa un costo: si paga per una capacità generica che non si utilizza, per un consumo energetico che supera il necessario, per un'architettura progettata per essere versatile quando non serve più.
È stata questa diagnosi che ha portato le più grandi aziende di intelligenza artificiale a investire in chip specializzati per l’inferenza. Non è una scommessa ideologica. È un calcolo del costo per token su larga scala che non funziona con una GPU.
Cosa risolve ciascuna architettura specializzata
Il TPU v5p di Google è nato all'interno di un problema concreto: l'infrastruttura di Google elabora l'inferenza a un volume che renderebbe insostenibile il costo della GPU. Il TPU è stato progettato per la moltiplicazione di matrici a bassa precisione – esattamente ciò che fanno le reti neurali – con larghezza di banda della memoria ottimizzata per questo modello di accesso. Oggi è disponibile su Google Cloud, ma il fatto che sia stato creato per il consumo interno prima di diventare un prodotto è un’indicazione di quanto sia importante l’economia su larga scala.
AWS Inferentia2 ha seguito una traiettoria simile: prestazioni per watt quattro volte migliori rispetto alla GPU equivalente, convalidate nella produzione reale per i sistemi di raccomandazione di Alexa e Amazon prima di raggiungere i clienti EC2. Il benchmark del laboratorio è una cosa, la reale pressione del traffico è un'altra.
L'LPU di Groq attacca un collo di bottiglia diverso. La maggior parte dei chip AI presenta ancora lo stesso problema: il processore è veloce, ma la memoria non alimenta i dati alla stessa velocità. Groq ha creato un'esecuzione deterministica in cui ogni operazione avviene in un tempo prevedibile, senza attese. Il risultato è una velocità di inferenza del testo che batte le GPU con un margine significativo per i modelli linguistici, non perché il chip esegua più operazioni al secondo, ma perché elimina i tempi di inattività in attesa dei dati.
Il Cerebras CS-3 risolve ancora qualcosa di diverso. I modelli troppo grandi per adattarsi a un singolo chip GPU devono essere suddivisi tra più chip, introducendo latenza di comunicazione. Cerebras ha posizionato l'intero modello su un singolo wafer di silicio delle dimensioni di un wafer, il chip per computer più grande mai realizzato per area. Nessuna comunicazione tra i chip, senza questo collo di bottiglia. Il limite è che pochi modelli sono sufficientemente grandi perché il compromesso abbia senso.
Il calcolo che decide se migrare
La logica decisionale tra GPU e ASIC è più semplice di quanto sembri. È necessario rispondere affermativamente a tre domande affinché la specializzazione abbia senso.
Il carico di lavoro dell'inferenza è stabile? Se cambi modello ogni mese, sperimenti architetture, test ipotesi, la flessibilità della GPU è ciò di cui hai bisogno e il suo costo ne è il prezzo. Il chip specializzato con carica instabile è denaro sepolto.
Il volume è già sufficientemente elevato affinché la differenza nel costo per token sia rilevante? Il guadagno di efficienza di un ASIC appare in scala. Nei piccoli volumi, la differenza viene assorbita dall'ammortamento dell'hardware e dalla complessità operativa. C'è un punto di crossover, diverso per ogni azienda, al di sotto del quale la GPU è semplicemente più pratica.
Spendi già abbastanza in inferenza per far sì che l'ottimizzazione valga lo sforzo? Il passaggio da GPU ad ASIC ha costi operativi reali: adattamento del software, validazione dei risultati, nuova infrastruttura per operare. Questo costo deve essere inferiore ai risparmi previsti su un orizzonte ragionevole.
La trappola della flessibilità perpetua
Inertia ha una narrazione che sembra prudente: "La GPU ci dà la flessibilità di cambiare modello quando ne abbiamo bisogno". Il ragionamento vale in fase di sperimentazione e diventa una trappola quando l'operazione matura. La flessibilità per cui paghi non viene più esercitata – il modello di produzione non cambia ogni settimana – ma il costo rimane. Stai pagando per l'opzionale che non usi mai.
Ciò accade perché la decisione hardware viene raramente rivista dopo il funzionamento dello stack iniziale. Il team che ha distribuito la GPU passa al progetto successivo. La fattura arriva ogni mese, ma nessuno paragona il costo attuale per token con quello che sarebbe possibile su un chip specializzato. L’assenza di revisione non è razionalità: è inerzia con apparenza di stabilità.
Cosa valutare prima di impegnarsi
Non tutte le aziende che dovrebbero migrare lo faranno presto, e questo non è necessariamente un errore. La maturità delle toolchain ASIC è ancora inferiore a quella delle GPU. Groq offre l'inferenza come servizio, senza che tu debba utilizzare l'hardware: rimuove gran parte degli attriti. Inferentia richiede di lavorare nell'ambiente AWS con gli strumenti di creazione di Amazon. TPU ha l'ambiente più maturo, ma è limitato a Google Cloud.
La decisione più sensata per la maggior parte delle aziende non è la migrazione completa all'ASIC. Si tratta di identificare quali carichi di lavoro di inferenza sono stabili e sufficientemente voluminosi da giustificare il chip specializzato, spostandoli nell'ambiente più efficiente e mantenendo la GPU per ciò che è ancora in evoluzione. Portafoglio misto, decisione basata sul carico, non sull'ideologia della piattaforma. Il prezzo di passare all'intera GPU per comodità è pagare per sempre il prezzo della flessibilità, anche quando la flessibilità non è più ciò di cui hai bisogno.
Leggi anche
- Chip specializzati e la fine dell'era delle CPU generiche
- Computazione neuromorfica e bioispirata: quando il chip inizia ad apprendere dal cervello
- AI efficiente dal punto di vista energetico: più piccola ed economica batte più grande
- Deduzione al limite: quando eseguire l'intelligenza artificiale sul dispositivo ha più senso che nel cloud
- La nuova generazione di chip: GPU, NPU, ASIC e RISC-V per chi decide
- PC AI e NPU: cosa cambia quando il dispositivo ottiene l'acceleratore AI