新一代芯片：GPU、NPU、ASIC 和 RISC-V，供谁决定

十年来，硬件是大多数技术领导者心目中可以外包的东西。您选择了云，订购了更多机器，并支付了账单。物理层是抽象，而抽象正是管理者想要的：不去思考问题。

那个休息结束了。运行人工智能的成本将芯片类型转变为业务决策，对利润、延迟和供应商依赖性产生直接影响。关于 GPU、NPU、ASIC 和 RISC-V 的讨论已经离开了工程部门并到达了产品委员会，尽管它仍然使用委员会中很少有人理解的语言。

本文翻译了该语言。不是为了让你可以设计芯片，而是为了让你能够认识到硬件选择何时实际上为策略设定了上限。

为什么硬件已经回归中心

简短的解释是：软件已经变得饥饿，通用处理器无法跟上。

AI 模型执行一种重复性的大规模计算，即矩阵乘法，其体积无法轻松地适合普通 CPU。当工作负载发生本质变化时，通用硬件就会成为瓶颈。硬件瓶颈无法通过更智能的代码来解决，可以通过不同的芯片来解决。

再加上经济。训练和服务模型消耗的能源规模显示在发票和可持续发展资产负债表上。当您将每个查询节省的每一瓦特乘以数百万个请求时，它就变成了利润。硬件不再是看不见的固定成本，而成为可变成本杠杆，一切影响可变成本的事情都成为决策者的议程。

实际后果是：将芯片视为可互换商品的公司比有意识选择的竞争对手支付更多费用或交付速度更慢。

GPU（图形处理单元）是为游戏和渲染而生的，并且很偶然地它在人工智能流行之前就解决了人工智能问题。它并行执行大量数学运算，这正是训练神经网络所需的。

GPU 的优点是灵活性。它运行几乎所有人工智能负载，从训练到推理，从计算机视觉到语言模型。如果您还不知道主要负载是什么，那么 GPU 是安全的选择，因为它在任何情况下都很少出错。

这种灵活性的成本体现在两个方面：价格和能源。高端GPU价格昂贵，竞争激烈，消耗大。即使您的负载是特定的且可预测的，您也需要为通用容量付费。对于领导者来说，心理规则很简单：当您还在学习所需的内容时，或者当负载的多样性证明不需专业化时，您就使用 GPU。

NPU（神经处理单元）是一款专为特定任务而设计的芯片：以低功耗运行人工智能推理。它不训练巨型模型，而是高效地运行现成的模型，这就是它出现在笔记本电脑和手机中的原因。

NPU 带来的改变是本地推理。部分工作不是将所有用户数据发送到服务器、处理并返回，而是在设备本身上进行。这改变了经理无需图表即可理解的三件事：延迟（即时响应）、隐私（数据不传输）和成本（您无需为该查询向云付费）。

NPU 是人工智能 PC 和应用程序浪潮背后的引擎，这些 PC 和应用程序将自己描述为“NPU 优先”，从一开始就设计为在设备上运行。对于产品来说，它开辟了一个以前因太昂贵或太慢而无法存在的功能类别。值得深入研究[设备上的本地人工智能0，因为推理发生位置的决定是战略性的，而不是技术性的。

ASIC（专用集成电路）在原理上与GPU相反。它不是被用来做所有事情，而是被设计用来做一件事，并且以通用芯片无法达到的效率来完成那件事。

交换是直接的。您放弃了灵活性，并获得了低得多的每次操作成本和芯片所服务的特定负载的功耗。对于大规模推理，即运行相同类型的模型数十亿次，这种专业化将成为一种不断积累的经济优势。

入场价格很高。设计 ASIC 既昂贵又耗时，而且芯片天生就卡住了：如果负载发生变化，芯片就无法跟上。这就是为什么ASIC只有在体积大且负载稳定时才有意义。这是那些已经确切知道要拍摄什么内容以及拍摄规模的人的决定。

RISC-V 不是芯片，它是芯片如何与软件对话的规范，即 ISA（指令集架构）。重要的区别是：它是开放的。任何人都可以使用、修改和制造它，而无需向所有者支付许可证。

这看起来是一个技术问题，实际上是一个权力问题。封闭的架构集中依赖少数供应商，他们收取专利费并决定路线图。开放的 ISA 重新分配了这种控制权：它降低了许可成本，允许深度定制，并为那些不想被他们无法控制的链扣为人质的人提供主权。

RISC-V 首先在边缘和物联网领域取得进展，这些领域的芯片更简单，成本敏感性也很高。在那里，成熟就足够了。在重型和通用负载方面，生态系统仍在形成中。工具、支持、软件和生态系统的成熟度是买不来的，它们是随着时间的推移而建立的。

诱惑是支持胜利者。真正的主板是共存的，谁决定谁的责任就是将负载与正确的芯片相匹配。

GPU 的用途仍然不确定或多种多样。用于在设备上进行推理的 NPU，靠近用户。用于大规模推理且负载稳定的 ASIC。 RISC-V 用于边缘并在成熟度允许的情况下减少依赖。定制硅胶，当您的操作规模足以证明您自己设计的合理性时，这个主题值得单独一章讨论。

正确的问题不是哪种芯片更好。这取决于您的主要负载是什么、它的稳定性如何，以及延迟、功耗和供应商锁定对您的业务模型的影响程度。答案是选择硅，而不是相反。 [IA1] 中能源效率的提高通常更多地来自于硬件的选择，而不是来自任何后续的代码优化。

如果你领先技术并且仍然将芯片视为基础设施线，那么值得将这个决定提升一个档次。硬件再次成为战略，惯性委托的战略是迷失的战略。