Il existe une hypothèse confortable qui domine la plupart des décisions en matière d’infrastructure d’IA : le GPU est la puce de l’IA. Si vous devez exécuter un modèle, vous utilisez le GPU. Le raisonnement a un mérite historique : le GPU était le matériel qui rendait l’apprentissage profond viable à grande échelle, et le marché du cloud s’est construit autour de lui. Le problème est que cette hypothèse est devenue une habitude, et l’habitude coûte cher lorsqu’il existe une alternative plus efficace pour votre charge spécifique.
Pourquoi le GPU a dominé et pourquoi cela commence à changer
Le GPU a conquis le marché de l’IA grâce à sa flexibilité et non à son efficacité. Il effectue raisonnablement bien les opérations matricielles en parallèle pour les modèles de formation et l'inférence - et raisonnablement bien dans deux domaines différents est un avantage lorsque vous ne savez pas encore quelle sera la charge dominante.
Le problème commence lorsque la charge se stabilise. Former un grand modèle est un événement ; Fournir des réponses à de vrais utilisateurs est une opération continue, prévisible et répétitive. Le même genre de calcul, des milliards de fois par jour. Dans ce régime, la flexibilité du GPU devient un coût : vous payez pour une capacité générique que vous n'utilisez pas, pour une consommation d'énergie qui dépasse ce qui est nécessaire, pour une architecture conçue pour la polyvalence lorsque vous n'en avez plus besoin.
C’est ce diagnostic qui a conduit les plus grandes entreprises d’IA à investir dans des puces spécialisées pour l’inférence. Ce n'est pas un pari idéologique. Il s'agit d'un calcul du coût par jeton à grande échelle qui ne fonctionne pas avec un GPU.
Ce que résout chaque architecture spécialisée
Le TPU v5p de Google est né d'un problème concret : l'infrastructure de Google traite l'inférence à un volume qui rendrait le coût du GPU insoutenable. Le TPU a été conçu pour la multiplication matricielle de faible précision – exactement ce que font les réseaux neuronaux – avec une bande passante mémoire optimisée pour ce modèle d'accès. Aujourd'hui, il est disponible sur Google Cloud, mais le fait d'avoir été conçu pour une consommation interne avant de devenir un produit indique à quel point l'économie est importante à grande échelle.
AWS Inferentia2 a suivi une trajectoire similaire : des performances par watt quatre fois supérieures à celles du GPU équivalent, validées en production réelle pour les systèmes de recommandation d'Alexa et d'Amazon avant d'atteindre les clients EC2. Les benchmarks en laboratoire sont une chose, la pression réelle du trafic en est une autre.
Le LPU de Groq s'attaque à un goulot d'étranglement différent. La plupart des puces IA rencontrent toujours le même problème : le processeur est rapide, mais la mémoire ne fournit pas les données à la même vitesse. Groq a créé une exécution déterministe où chaque opération se déroule dans un temps prévisible, sans attente. Le résultat est une vitesse d’inférence de texte qui dépasse largement celle des GPU pour les modèles de langage – non pas parce que la puce effectue plus d’opérations par seconde, mais parce qu’elle élimine les temps d’arrêt en attente de données.
Le Cerebras CS-3 résout encore quelque chose de différent. Les modèles trop volumineux pour tenir sur une seule puce GPU doivent être répartis sur plusieurs puces, ce qui introduit une latence de communication. Cerebras a placé l’ensemble du modèle sur une seule plaquette de silicium de la taille d’une plaquette – la plus grande puce informatique jamais fabriquée par zone. Pas de communication entre puces, sans ce goulot d'étranglement. La limite est que peu de modèles sont suffisamment grands pour que le compromis ait un sens.
Le calcul qui décide si vous devez migrer
La logique de décision entre GPU et ASIC est plus simple qu'il n'y paraît. Trois questions doivent recevoir une réponse affirmative avant que la spécialisation ait un sens.
La charge de travail d’inférence est-elle stable ? Si vous changez de modèle tous les mois, expérimentez des architectures, testez des hypothèses, la flexibilité du GPU est ce dont vous avez besoin et son coût en est le prix. Une puce spécialisée avec une charge instable est de l'argent enterré.
Le volume est-il déjà suffisamment élevé pour que la différence de coût par token soit pertinente ? Le gain d’efficacité d’un ASIC apparaît en échelle. Dans les petits volumes, la différence est absorbée par l'amortissement du matériel et la complexité opérationnelle. Il existe un point de croisement, différent pour chaque entreprise, en dessous duquel le GPU est tout simplement plus pratique.
Dépensez-vous déjà suffisamment en inférence pour que l’optimisation en vaille la peine ? Passer du GPU à l'ASIC a de réels coûts opérationnels : adaptation logicielle, validation des résultats, nouvelle infrastructure à exploiter. Ce coût doit être inférieur aux économies projetées sur un horizon raisonnable.
Le piège de la flexibilité perpétuelle
Inertia a un discours qui semble prudent : « Le GPU nous donne la flexibilité de changer de modèle lorsque nous en avons besoin. » L’argument est valable en phase d’expérimentation et devient un piège lorsque l’opération mûrit. La flexibilité pour laquelle vous payez ne s’exerce plus – le modèle de production ne change pas chaque semaine – mais le coût reste. Vous payez pour l’option que vous n’utilisez jamais.
Cela se produit parce que la décision matérielle est rarement revue après le fonctionnement de la pile initiale. L'équipe qui a déployé le GPU passe au projet suivant. La facture arrive chaque mois, mais personne ne compare le coût actuel par token avec ce qui serait possible sur une puce spécialisée. L’absence de contrôle n’est pas une rationalité – c’est une inertie avec une apparence de stabilité.
Ce qu'il faut évaluer avant de s'engager
Toutes les entreprises qui devraient migrer ne migreront pas bientôt, et ce n’est pas nécessairement une erreur. La maturité des chaînes d’outils ASIC est encore inférieure à celle des GPU. Groq propose l'inférence en tant que service, sans que vous ayez à utiliser le matériel : cela supprime une grande partie des frictions. Inferentia nécessite de travailler dans l'environnement AWS avec les outils de création Amazon. TPU possède l'environnement le plus mature, mais est limité à Google Cloud.
La décision la plus judicieuse pour la plupart des entreprises n’est pas une migration complète vers l’ASIC. Il s'agit d'identifier quelles charges de travail d'inférence sont suffisamment stables et volumineuses pour justifier l'utilisation d'une puce spécialisée, de les déplacer vers l'environnement le plus efficace et de maintenir le GPU pour ce qui est encore en évolution. Portefeuille mixte, décision basée sur la charge et non sur l'idéologie de la plateforme. Le prix à payer pour passer au tout GPU pour plus de commodité est de payer les frais de flexibilité pour toujours, même lorsque la flexibilité n'est plus ce dont vous avez besoin.
A lire aussi
- Les puces spécialisées et la fin de l'ère des CPU génériques
- Informatique neuromorphique et bio-inspirée : quand la puce commence à apprendre du cerveau
- IA économe en énergie : plus petit et moins cher bat plus gros -L'inférence à la périphérie : lorsque l'exécution de l'IA sur l'appareil a plus de sens que dans le cloud
- La nouvelle génération de puces : GPU, NPU, ASIC et RISC-V pour ceux qui décident
- PC AI et NPU : qu'est-ce qui change lorsque l'appareil bénéficie de l'accélérateur AI