Pendant des décennies, le processeur a été traité comme une ressource générique : vous augmentiez la fréquence, ajoutiez des cœurs et les problèmes de traitement se résolvaient tout simplement d'eux-mêmes. Cette commodité a créé une dangereuse dépendance intellectuelle. Les leaders technologiques ont commencé à ignorer le matériel en tant que variable stratégique, déléguant le choix aux équipes d'infrastructure qui achetaient ce qui figurait dans le catalogue. Il s'agissait d'une simplification acceptable dans un monde où les charges de travail des entreprises (rapports, transactions, pages Web) avaient des profils informatiques similaires. Ce modèle a fonctionné tant que les charges de travail étaient relativement homogènes. Avec l’IA générative, l’inférence à grande échelle et l’informatique embarquée, elle a définitivement disparu. Le matériel est encore une fois un choix aux conséquences réelles.
Pourquoi le CPU a perdu son rôle de leader
Le processeur est conçu pour être polyvalent. Il exécute des instructions séquentielles avec de nombreuses logiques de contrôle, des caches sophistiqués et des mécanismes de prédiction de saut. Pour une base de données transactionnelle ou un serveur Web, c'est exactement ce dont vous avez besoin. Entraîner un réseau de neurones avec des milliards de paramètres est un gaspillage monumental. La majeure partie du silicium est occupée par une logique qui n’est jamais activée dans ce type de charge.
Le problème principal est que les opérations d’apprentissage automatique sont mathématiquement répétitives. Multiplications matricielles, convolutions, opérations d'activation : toutes ces opérations bénéficient d'un parallélisme massif et non de flexibilité. Le GPU a été le premier à exploiter cela, avec des milliers de cœurs simples fonctionnant ensemble. Mais le GPU est aussi un compromis, pensé à l’origine pour le graphisme et adapté pour l’IA. Le résultat est un matériel performant, mais avec une efficacité énergétique et économique qui laisse encore la place à quelque chose de plus spécialisé.
Ce que TPU, NPU et ASIC font différemment
Le TPU, développé par Google, a été spécialement conçu pour les opérations d'algèbre linéaire à grande échelle. Il n'essaie pas d'être un processeur polyvalent compatible avec l'IA : il fait très bien une chose : il exécute les opérations tensorielles qui sous-tendent TensorFlow et, plus récemment, les modèles JAX. Le coût par opération diminue considérablement lorsque le matériel ne supporte pas le poids des fonctionnalités qui ne seront jamais utilisées dans ce contexte.
Le NPU, à son tour, joue un jeu différent. Au lieu de former des modèles dans le cloud, il exécute l'inférence directement sur l'appareil, qu'il s'agisse d'un smartphone, d'un capteur industriel ou d'une voiture autonome. Apple intègre des NPU dans les puces de la série A depuis 2017 et les résultats sont visibles : reconnaissance faciale, traduction en temps réel et génération de texte local qui ne dépendent pas de la connexion aux serveurs. Qualcomm et MediaTek ont emboîté le pas avec leurs SoC. Ce qui semblait être un avenir lointain est devenu la norme en matière de téléphones haut de gamme et s’impose rapidement sur le marché du milieu de gamme.
ASIC représente l'extrême de la spécialisation. Vous concevez une puce pour résoudre un problème spécifique et uniquement ce problème, avec une efficacité maximale et un coût marginal très faible en production en volume. Les mineurs de Bitcoin ont été les premiers à démontrer l’ampleur de ce raisonnement. Aujourd'hui, des sociétés comme Groq et Cerebras construisent des ASIC pour l'inférence LLM avec une latence et un coût par jeton que les GPU à usage général ne peuvent tout simplement pas égaler dans la même enveloppe de puissance.
Le FPGA comme point intermédiaire que peu considèrent
Entre l’ASIC et le GPU il existe un territoire peu exploré par les équipes produit : le FPGA. Le champ programmable des portes logiques permet de reconfigurer le matériel après la fabrication, ce qui élimine le risque de s'appuyer sur une conception fixe avant que le produit ne soit mature. Microsoft utilise des FPGA sur les serveurs Azure pour l'accélération du réseau et l'inférence spécifique au modèle. Intel a acheté Altera précisément pour conquérir ce marché.
Pour les produits qui nécessitent une accélération personnalisée mais qui n'ont pas encore suffisamment de volume pour justifier leur propre ASIC, le FPGA offre un juste milieu. Le coût par unité est plus élevé qu’un ASIC en volume, mais le risque de développement est considérablement inférieur. Les équipes qui ignorent cette option ont tendance à commettre l'une des deux erreurs suivantes : elles restent coincées avec le CPU par conservatisme ou parient trop tôt sur l'ASIC et doivent refaire la conception lorsque le produit change. Le FPGA permet de gagner du temps pour apprendre sans gaspiller l'investissement.
La décision puce en tant que décision produit
Voici un point que la plupart des organisations n’ont pas encore internalisé : le choix du matériel n’est plus exclusivement une décision d’infrastructure mais est devenu une variable produit ayant un impact direct sur le coût, la latence, la confidentialité et l’expérience utilisateur. La couche de silicium est encore une fois importante, et l’ignorer est un avantage que vous cédez à votre concurrent.
Lorsque vous décidez d'exécuter l'inférence IA sur votre appareil plutôt que dans le cloud, vous choisissez la confidentialité des données, une latence nulle et un fonctionnement hors ligne. Il ne s'agit pas d'une préférence technique. C'est une promesse de produit. Et cela dépend d'un NPU adéquat sur le matériel cible. Si votre public cible utilise des appareils dotés de puces qui ne disposent pas d'un NPU efficace, l'expérience produit sera mauvaise, quelle que soit la qualité du modèle.
De même, la décision d'utiliser les TPU propriétaires de Google Cloud, les GPU de NVIDIA et les ASIC comme celui de Groq n'est pas seulement une question de prix par heure de calcul. Il s'agit de latence de réponse, de capacité à adapter les pics de demande et de coût par requête que votre modèle économique doit prendre en charge. Les équipes produit qui laissent entièrement cette décision à l’infrastructure externalisent, en pratique, une variable concurrentielle centrale.
La bonne question stratégique n’est plus « de combien de GPU avons-nous besoin ? et est devenu « quelle géométrie de puce répond le mieux à cette charge de travail spécifique, dans ce contexte de déploiement, avec cette enveloppe de coût et de latence ? » Cette question nécessite que le produit, l’ingénierie et l’infrastructure soient assis à la même table. Les organisations qui traitent encore le matériel comme un détail d'approvisionnement le découvriront à leurs dépens lorsqu'un concurrent propose les mêmes fonctionnalités pour un tiers du coût opérationnel parce qu'ils ont fait ce choix délibérément.
A lire aussi
- Puces d'inférence et ASIC : quand le spécialisé bat le générique
- La nouvelle génération de puces : GPU, NPU, ASIC et RISC-V pour ceux qui décident
- PC AI et NPU : qu'est-ce qui change lorsque l'appareil bénéficie de l'accélérateur AI
- Informatique neuromorphique et bio-inspirée : quand la puce commence à apprendre du cerveau
- Comment élaborer une analyse de rentabilisation pour l'IA dans les opérations industrielles
- IA, énergie et souveraineté : ce que les gouvernements doivent planifier maintenant