NPU
AI PC
Hardware
Inferência Local
Microsoft Copilot Plus

AI PC 和 NPU:当设备获得 AI 加速器时会发生什么变化

设备上的 NPU 将处理点从云端转移到端点,这种转变会对产品、安全性和企业采购周期产生影响。

AI PC 和 NPU:当设备获得 AI 加速器时会发生什么变化

大多数关于人工智能的争论仍然假设处理是在某个远程服务器上进行的。您输入内容,将其发送到云端,等待响应返回。只要设备是哑的并且连接性得到保证,这个模型就可以很好地工作——但这​​两个假设正在同时修订,而人工智能 PC 是该修订最明显的结果。

NPU 执行 CPU 和 GPU 不执行的操作

NPU(神经处理单元)并不是笔记本电脑中较小的 GPU。它是一款旨在运行高能效、低延迟的推理人工智能模型的芯片。 GPU 的性能非常好,但它消耗的能量超出了笔记本电脑电池的承受能力。 NPU 做一件事很好,并且消耗充足。

它的任务是本地推理:获取音频、视频或文本信号,将其传递给模型,然后在不离开设备的情况下返回结果。实时语音转录、字幕翻译、图像生成 — 同时 CPU 可以自由地完成其余工作,并且电池也不会耗尽。

微软的[Copilot0+ PC 计划已经建立了一个正式的底线:至少 40 TOPS 的 NPU 容量。在此之下,该设备运行人工智能,但不符合徽章或相关功能的资格。

Copilot+ PC 实际提供什么

AI PC 营销对承诺很慷慨,但对具体细节却很吝啬。现在可在经过认证的硬件上运行的功能:带实时翻译的实时字幕,无需网络连接; Paint中的Cocreator,使用本地图像生成;通话中的语音和视频增强,无需依赖于应用服务器。

回忆——定期屏幕截图来创建你所做工作的视觉记忆——成为了如何不启动人工智能功能的案例研究。这个提议很有趣:对你所看到的一切进行语义搜索。最初的运行将屏幕截图存储在可提取的文本中,没有适当的加密,强烈的反对迫使微软推迟、重新设计并选择加入该功能。它又回来了,但它是设备上人工智能也创建新攻击面的第一个主要例子。

谁制造以及有何差异

高通、英特尔和AMD通过不同的路径到达了同一点。高通的Snapdragon英特尔从Meteor Lake引入了Core Ultra; AMD 与 Ryzen AI。苹果先于其他人到来:神经引擎自 2020 年以来一直在 M 系列芯片上使用,无需营销标签。

对于最终用户来说,它们之间的实际差异仍然很小,因为大量使用 NPU 的软件很少。硬件竞赛提高了设备​​时钟相对于应用程序时钟的速度——这是平台转换中的正常现象。正确的问题不是现在哪一个 NPU 更快,而是未来两年将围绕每个平台开发哪组应用程序。

无声的问题:企业环境中的兼容性

对于企业 IT 而言,AI PC 提出的问题超出了 NPU 基准测试的范围。 Snapdragon X 运行 Arm。为 x86 编译的应用程序通过仿真运行,与遗留软件不兼容、性能下降和意外。对于拥有传统 ERP 或没有 Arm 版本的垂直应用程序的公司来说,搭载 Snapdragon 的 AI PC 可能会产生比它解决的问题更多的问题。

除了架构之外,本地数据处理还提出了新的治理问题。当敏感文档由设备上运行的模型在本地处理时,谁控制该模型?如果 NPU 对电子邮件或会议运行推理,生成的嵌入的保留策略是什么?知道如何回答云的这些问题的安全部门需要重新审视端点的答案——而且大多数人还没有做过这个练习。

采购周期也会发生变化。过去,硬件更新周期为四到五年。 AI PC 可能会产生预测这一周期的压力 - 不是因为当前硬件已停止工作,而是因为新功能依赖于旧设备不具备的 NPU 能力。

升级何时有意义,何时没有意义

迁移到 AI PC 的决定需要经过诚实的过滤。大多数标榜为 NPU 优先的功能也可以在非 NPU 设备上运行——只是速度较慢,电池容量更大,或者需要往返云端。 NPU 不启用新魔法;它改变了魔法发生的地点和成本。

真正的论点是,由于监管原因,公司不想将数据发送到云端的工作负载;需要在毫秒内做出响应且网络往返时间明显的任务;连接间歇性且需要离线的环境;连续循环运行 AI 的功能,例如进行数小时的转录,其中 NPU 的能源效率可显着延长电池寿命。

对于通过浏览器访问人工智能且最繁重的任务是电子表格和视频会议的办公室用户来说,升级并不合理。为经过认证的人工智能电脑支付溢价是期待其所使用的应用程序尚未提供的好处。等待下一次自然更新通常是经济上最明智的决定。

在下一次疯狂购物之前什么值得思考

AI PC 是一个中游平台转型——硬件可用、软件到来、用例仍在整合。正确的立场是既不要现在大量购买,也不要忽视它。

有用的练习:确定哪些工作负载具有本地推理的真实案例,检查产品组合中的哪些应用程序已经支持 NPU 或有其公共路线图,并在提交预算之前映射 Arm 与 x86 的比率。下一波硬件更新是无需支付先锋溢价即可纳入 NPU 标准的最自然窗口。

另请阅读

  • [专用芯片和通用CPU时代的终结2
  • [新一代芯片:GPU、NPU、ASIC 和 RISC-V,供谁决定3
  • [推理芯片和 ASIC:当专业战胜通用4
  • [神经拟态和仿生计算:芯片何时开始向大脑学习5
  • [智能眼镜和增强现实:真正的希望和具体的障碍6
  • [电气化:当一切都开始打开插座时会发生什么变化7