Es gibt eine bequeme Annahme, die die meisten KI-Infrastrukturentscheidungen dominiert: Die GPU ist der KI-Chip. Wenn Sie ein Modell ausführen müssen, verwenden Sie eine GPU. Die Argumentation hat historische Berechtigung – die GPU war die Hardware, die Deep Learning in großem Maßstab möglich machte, und der Cloud-Markt wurde um sie herum aufgebaut. Das Problem besteht darin, dass diese Annahme zur Gewohnheit geworden ist, und Gewohnheit ist teuer, wenn es für Ihre spezifische Belastung eine effizientere Alternative gibt.
Warum die GPU dominierte und warum sich das zu ändern beginnt
Die GPU gewann den KI-Markt durch Flexibilität, nicht durch Effizienz. Es führt Matrixoperationen sowohl für Trainingsmodelle als auch für Inferenz einigermaßen parallel parallel aus – und eine einigermaßen gute Leistung über zwei verschiedene Domänen hinweg ist von Vorteil, wenn Sie noch nicht wissen, wie hoch die dominierende Last sein wird.
Das Problem beginnt, wenn sich die Last stabilisiert. Das Training eines großen Modells ist ein Ereignis; Die Bereitstellung von Antworten für echte Benutzer ist ein kontinuierlicher, vorhersehbarer und sich wiederholender Vorgang. Die gleiche Art von Berechnung, milliardenfach am Tag. In diesem Fall wird die Flexibilität der GPU zu einem Kostenfaktor – Sie zahlen für allgemeine Kapazität, die Sie nicht nutzen, für den Energieverbrauch, der über das Notwendige hinausgeht, für eine Architektur, die auf Vielseitigkeit ausgelegt ist, wenn Sie sie nicht mehr benötigen.
Es war diese Diagnose, die die größten KI-Unternehmen dazu veranlasste, in spezielle Chips für die Inferenz zu investieren. Es ist keine ideologische Wette. Es handelt sich um eine Kosten-pro-Token-Berechnung im großen Maßstab, die mit einer GPU nicht funktioniert.
Was jede spezialisierte Architektur löst
Googles TPU v5p entstand vor einem konkreten Problem: Die Infrastruktur von Google verarbeitet Inferenzen in einem Umfang, der die GPU-Kosten untragbar machen würde. Die TPU wurde für die Matrixmultiplikation mit niedriger Präzision entwickelt – genau das, was neuronale Netze tun – mit einer für dieses Zugriffsmuster optimierten Speicherbandbreite. Heute ist es in der Google Cloud verfügbar, aber die Tatsache, dass es für den internen Verbrauch entwickelt wurde, bevor es zu einem Produkt wurde, ist ein Hinweis darauf, wie wichtig die Wirtschaft im großen Maßstab ist.
AWS Inferentia2 verfolgte einen ähnlichen Weg: viermal bessere Leistung pro Watt als die entsprechende GPU, validiert in der realen Produktion für die Empfehlungssysteme von Alexa und Amazon, bevor es EC2-Kunden erreichte. Labor-Benchmark ist eine Sache, echter Verkehrsdruck eine andere.
Die LPU von Groq greift einen anderen Engpass an. Die meisten KI-Chips haben immer noch das gleiche Problem: Der Prozessor ist schnell, aber der Speicher speist Daten nicht mit der gleichen Geschwindigkeit ein. Groq hat eine deterministische Ausführung geschaffen, bei der jeder Vorgang in einer vorhersehbaren Zeit ohne Wartezeit ausgeführt wird. Das Ergebnis ist eine Textinferenzgeschwindigkeit, die GPUs bei Sprachmodellen deutlich übertrifft – nicht weil der Chip mehr Operationen pro Sekunde ausführt, sondern weil dadurch Ausfallzeiten beim Warten auf Daten entfallen.
Der Cerebras CS-3 löst etwas noch anderes. Modelle, die zu groß sind, um auf einen einzelnen GPU-Chip zu passen, müssen auf mehrere Chips aufgeteilt werden, was zu Kommunikationslatenz führt. Cerebras platzierte das gesamte Modell auf einem einzigen Siliziumwafer in Wafergröße – dem flächenmäßig größten jemals hergestellten Computerchip. Keine Kommunikation zwischen Chips, ohne diesen Engpass. Die Einschränkung besteht darin, dass nur wenige Modelle groß genug sind, damit der Kompromiss sinnvoll ist.
Die Berechnung, die darüber entscheidet, ob Sie migrieren sollten
Die Entscheidungslogik zwischen GPU und ASIC ist einfacher als es scheint. Drei Fragen müssen mit „Ja“ beantwortet werden, bevor eine Spezialisierung sinnvoll ist.
Ist die Inferenzarbeitslast stabil? Wenn Sie jeden Monat das Modell wechseln, mit Architekturen experimentieren und Hypothesen testen, ist die Flexibilität der GPU das, was Sie brauchen, und ihre Kosten sind der Preis dafür. Spezialchip mit instabiler Ladung ist vergrabenes Geld.
Ist das Volumen bereits so hoch, dass der Unterschied in den Kosten pro Token relevant ist? Der Effizienzgewinn eines ASIC zeigt sich in der Größenordnung. Bei kleinen Volumina wird die Differenz durch Hardware-Amortisation und betriebliche Komplexität aufgefangen. Es gibt einen Übergangspunkt – der für jedes Unternehmen unterschiedlich ist – unterhalb dessen die GPU einfach praktischer ist.
Geben Sie bereits genug für Inferenz aus, damit sich die Optimierung lohnt? Der Wechsel von GPU zu ASIC ist mit echten Betriebskosten verbunden: Softwareanpassung, Validierung der Ergebnisse, neue Infrastruktur für den Betrieb. Diese Kosten müssen niedriger sein als die prognostizierten Einsparungen über einen angemessenen Zeitraum.
Die Falle der ewigen Flexibilität
Inertia hat eine vernünftig erscheinende Erzählung: „GPU gibt uns die Flexibilität, Modelle zu ändern, wenn wir es brauchen.“ Das Argument ist in der Experimentierphase gültig und wird zu einer Falle, wenn die Operation ausgereift ist. Die Flexibilität, für die Sie bezahlen, wird nicht mehr genutzt – das Produktionsmodell ändert sich nicht jede Woche –, aber die Kosten bleiben bestehen. Sie zahlen für das Optional, das Sie nie nutzen.
Dies liegt daran, dass die Hardware-Entscheidung selten erneut überprüft wird, nachdem der erste Stapel funktioniert. Das Team, das die GPU bereitgestellt hat, geht zum nächsten Projekt über. Die Rechnung kommt jeden Monat, aber niemand vergleicht die aktuellen Kosten pro Token mit dem, was auf einem speziellen Chip möglich wäre. Das Fehlen einer Überprüfung ist keine Rationalität – es ist Trägheit mit dem Anschein von Stabilität.
Was Sie vor dem Festschreiben bewerten sollten
Nicht jedes Unternehmen, das migrieren sollte, wird bald migrieren, und das ist nicht unbedingt ein Fehler. Der Reifegrad von ASIC-Toolchains ist immer noch geringer als der von GPUs. Groq bietet Inferenz als Service an, ohne dass Sie die Hardware bedienen müssen – es beseitigt einen Großteil der Reibung. Inferentia erfordert die Arbeit innerhalb der AWS-Umgebung mit Amazon-Build-Tools. TPU verfügt über die ausgereifteste Umgebung, ist jedoch auf Google Cloud beschränkt.
Die sinnvollste Entscheidung für die meisten Unternehmen ist nicht die vollständige Migration auf ASIC. Es geht darum, herauszufinden, welche Inferenz-Workloads stabil und umfangreich genug sind, um den Spezialchip zu rechtfertigen, sie in die effizienteste Umgebung zu verschieben und die GPU für das, was sich noch entwickelt, aufrechtzuerhalten. Gemischtes Portfolio, Entscheidung nach Last, nicht nach Plattformideologie. Der Preis dafür, aus Bequemlichkeit auf eine reine GPU umzusteigen, ist die Zahlung der Flexibilitätsgebühr für immer – auch wenn Flexibilität nicht mehr das ist, was Sie brauchen.
Lesen Sie auch
- Spezialisierte Chips und das Ende der generischen CPU-Ära
- Neuromorphes und bioinspiriertes Computing: Wenn der Chip beginnt, vom Gehirn zu lernen
- Energieeffiziente KI: Kleiner und günstiger schlägt größer
- Inferenz am Rande: Wenn KI auf dem Gerät ausgeführt wird, ist dies sinnvoller als in der Cloud
- Die neue Generation von Chips: GPU, NPU, ASIC und RISC-V für diejenigen, die sich entscheiden
- KI-PCs und NPU: Was ändert sich, wenn das Gerät den KI-Beschleuniger erhält