关于人工智能最舒服的说法是它是非物质的——算法、数据、概率。这个叙述中没有出现的是维持一切运转的电网。训练 GPT-4 消耗的电量大约相当于 1,000 个美国家庭一年的用电量。大规模推理会成倍增加这个数字。当你将人工智能置于架构的中心时，你就在做出能源决策，即使房间里没有人考虑它。
数据中心的实际消耗意味着什么
现代数据中心不仅仅消耗能源来处理数据。他们使用它来冷却处理这些数据的硬件、维持电源冗余、操作网络以及维持整个支持基础设施层。用于人工智能工作负载的高密度 GPU 的到来将机架需求推向了许多传统数据中心根本无法满足的水平。
传统机架的功耗为 5 至 15 千瓦。用于 AI 的 GPU 机架功率可达 80 或 100 千瓦。这改变了建筑物的设计、冷却系统和合同电力容量。这不是增量更新。这是一个不同的基础设施。当大型云提供商宣布新的数据中心时，他们不仅仅是在增加计算能力，他们还在与分销商谈判长期电力合同，在某些情况下，还建造自己的变电站。
还有水的问题。现代 GPU 集群的热密度所需的液体冷却会消耗大量的水。这种运营成本很少出现在有关人工智能成本的讨论中，但它开始在缺水地区受到监管，并被纳入新项目的环境审批计算中。
为什么云账户中会出现这个
能源成本并不是孤立在供应商的资产负债表上的。它传递给客户，有一定程度的滞后和不透明。 GPU 实例已经比通用实例昂贵得多，其中很大一部分差异在于功耗。随着对人工智能能力的需求增加，以及供应商争夺土地以获取丰富、廉价的能源，处理的地理位置开始影响服务价格。
这对于团队做出架构决策有直接的影响：高频调用大型模型 API 不仅仅是一种技术选择，更是一种内置能量组件的成本选择。当云账单反映使用的实际增长时，尤其是在具有大量推理的产品中，将人工智能的使用视为免费或固定成本的公司将会感到惊讶。
数据中心建设地点面临的压力
电力可用性正成为与网络连接一样重要的位置标准。拥有丰富、廉价和可再生能源的地区已成为人工智能基础设施新投资的首选目的地。北欧国家将廉价的水力发电与自然寒冷的气候结合在一起，多年来一直吸引着数据中心。巴西以其主要的可再生电力矩阵和巨大的水力发电能力，越来越多地出现在这些战略对话中。
问题在于，能源可用性、网络基础设施可用性以及技术人才很少同时出现在同一个地方。运营成本最低的地点与地理上合理的地点之间的紧张关系造成了以前在基础设施决策中看不见的权衡。对于在多个区域运营的公司来说，这个等式开始影响每个工作负载使用哪个云提供商——不仅仅是因为延迟或数据合规性，还因为区域之间的能源成本不同。
技术答案：更小的模型和高效的推理
业界并不等待电网来解决问题。整个研发线的重点是降低执行每项有用任务的能源成本。量化、模型蒸馏和更高效的架构（例如专家混合模型）等技术使我们能够以较大密集模型能耗的一小部分提供可比的性能。
对于那些决定基础设施的人来说，这带来了一个真正的战略选择：使用适用于所有情况的最强大的模型，或者选择满足特定用例的最有效的模型。第二种选择不仅更便宜。在大批量生产中，这可能是财务上可持续的架构和通过使用来解决问题的架构之间的区别。在真正重要的工作中，针对特定任务精心调整的 70 亿参数模型通常比更大的通用模型表现更好。
现在应该将哪些内容纳入基础设施规划
在生产中使用人工智能的任何团队的架构决策中都应该明确包含三个变量。第一个是推断成本，根据实际使用情况而不是乐观估计来映射。第二个是所选模型的能源足迹，它开始出现在企业可持续发展报告以及一些客户和监管机构的要求中。第三种是后备架构：当较重的模型可以被较轻的模型替换时，最终用户不会出现明显的质量损失。
忽略这些变量并不能保护任何人免受该帐户的侵害。它以不同的方式出现：API 的直接成本、ESG 压力、与询问碳排放问题的大客户的合同谈判，或者仅仅是当推理成本增长快于收入时扩展产品的不可行性。如今，将这三个变量添加到架构决策过程中的团队获得了回旋余地，而当该主题的监管和竞争压力加剧时，这种回旋余地将是稀缺的。将能源视为工程细节是一个规划错误，而不是一个技术问题。
另请阅读
- 【能源，人工智能新石油：谁掌握了资源，谁就掌握了时代0
- [可持续数据中心：成为公共问题的环境成本1
- [人工智能能源与主权：政府现在需要规划什么2
- [电气化：当一切都开始打开插座时会发生什么变化3?
- [人工智能数据中心的可持续基础设施：挑战和最佳实践4
- 【能源：无人问津的计算路线瓶颈5