几十年来，CPU 一直被视为通用资源：提高频率、添加内核，处理问题就会自行解决。这种便利造成了危险的智力成瘾。技术领导者开始忽视硬件作为战略变量，将选择权委托给购买目录中产品的基础设施团队。在业务工作负载（报告、交易、网页）具有相似计算配置文件的世界中，这是一种可以接受的简化。只要工作负载相对均匀，该模型就可以发挥作用。随着生成式人工智能、大规模推理和嵌入式计算的出现，它已经永远被打破了。硬件再次成为一种具有实际后果的选择。
为什么CPU失去了主导地位
CPU 专为多功能性而设计。它执行具有大量控制逻辑、复杂缓存和跳转预测机制的顺序指令。对于事务数据库或 Web 服务器，这正是您所需要的。训练具有数十亿参数的神经网络是一种巨大的浪费。大部分硅片都被逻辑所占据，在这种类型的负载下，这些逻辑永远不会被激活。
核心问题是机器学习操作在数学上是重复的。矩阵乘法、卷积、激活运算：所有这些都受益于大规模并行性，而不是灵活性。 GPU 是第一个利用这一点的，它有数千个简单的核心一起运行。但GPU也是一种妥协，最初是为图形而设计，后来为AI而改造。结果是功能强大的硬件，但能源和成本效率仍然为更专业的东西留下了空间。
TPU、NPU 和 ASIC 的不同之处
TPU 由 Google 开发，专为大规模线性代数运算而构建。它并没有试图成为一个支持 AI 的通用处理器：它在一件事上做得非常好，那就是运行支持 TensorFlow 以及最近的 JAX 模型的张量运算。当硬件不承担在该环境中永远不会使用的功能时，每次操作的成本就会急剧下降。
反过来，NPU 则玩不同的游戏。它不是在云中训练模型，而是直接在设备上运行推理，无论是智能手机、工业传感器还是自动驾驶汽车。苹果自 2017 年起将 NPU 集成到 A 系列芯片中，结果是可见的：面部识别、实时翻译和不依赖于连接服务器的本地文本生成。高通和联发科也纷纷效仿，推出了他们的 SoC。看似遥远的未来已成为高端手机的标准，并迅速进入中端市场。
ASIC 代表了专业化的极致。您设计一款芯片来解决特定问题并且仅解决该问题，在批量生产中实现最高效率和极低的边际成本。比特币矿工是第一个证明这一推理规模的人。如今，Groq 和 Cerebras 等公司为 LLM 推理构建 ASIC，其延迟和每个令牌的成本是通用 GPU 在相同功率范围内根本无法匹配的。
FPGA 作为很少有人考虑的中间点
在 ASIC 和 GPU 之间，有一个产品团队很少探索的领域：FPGA。逻辑门的可编程领域允许硬件在制造后重新配置，从而消除了在产品成熟之前依赖固定设计的风险。 Microsoft 在 Azure 服务器上使用 FPGA 进行网络加速和特定于模型的推理。 Intel收购Altera正是为了占领这个市场。
对于需要定制加速但还没有足够数量来证明自己的 ASIC 合理性的产品，FPGA 提供了一个智能的中间地带。每单位成本高于批量 ASIC，但开发风险却大大降低。忽视这一选项的团队往往会陷入两个错误之一：他们出于保守而被 CPU 困住，或者他们过早地把赌注押在 ASIC 上，当产品发生变化时不得不重做设计。 FPGA 可以为学习赢得时间，而不会浪费投资。
将芯片决策视为产品决策
这是大多数组织尚未内化的一点：硬件的选择不再仅仅是基础设施决策，而已成为直接影响成本、延迟、隐私和用户体验的产品变量。硅层再次变得重要，忽视它就是您放弃给竞争对手的优势。
当您决定在设备上而不是在云端运行人工智能推理时，您就选择了数据隐私、零延迟和离线操作。这不是技术偏好。这是一个产品承诺。这取决于目标硬件上是否有足够的 NPU。如果你的目标受众使用的设备的芯片没有高效的 NPU，那么无论模型有多好，产品体验都会很差。
同样，使用 Google Cloud 专有的 TPU 与 NVIDIA 的 GPU 以及 Groq 等 ASIC 的决定不仅仅取决于每计算小时的价格。它涉及响应延迟、扩展需求峰值的能力以及您的业务模型需要支持的每个查询的成本。实际上，将这一决定完全交给基础设施的产品团队是在外包核心竞争变量。
正确的战略问题不再是“我们需要多少 GPU？”并成为“在这种部署环境中，在这种成本和延迟范围内，哪种芯片几何结构最能服务于这种特定的工作负载？”这个问题需要产品、工程和基础设施坐在同一张桌子上。当竞争对手以三分之一的运营成本提供相同的功能时，仍然将硬件视为采购细节的组织将发现这一点，因为他们是故意做出的选择。
另请阅读
- [推理芯片和 ASIC：当专业战胜通用1
- [新一代芯片：GPU、NPU、ASIC 和 RISC-V，供谁决定2
- [AI PC和NPU：当设备获得AI加速器时会发生什么变化3
- [神经拟态和仿生计算：芯片何时开始向大脑学习4
- [如何构建人工智能在工业运营中的商业案例5
- [人工智能能源与主权：政府现在需要规划什么6