AI时代CPU的重构：从辅助到核心编排
人工智能 (AI) 基础设施正迈入全新关键阶段。生成式 AI 的初始阶段以加速器规模化为核心，聚焦 GPU、NPU 与定制 AI 加速器的部署、供电、散热与互联能力。该阶段虽未终结，但已难满足当前演进需求。
下一阶段的核心是机架级系统协同：通过异构 AI 机架，将不同计算资源分别优化至智能体 AI 工作流的各环节。由 CPU、加速器、内存、网络设备构成的专用机架，正被整合为吉瓦级 AI 超级集群，每台机架作为高密度计算单元，承担特定任务。
AI 推理正从单次模型调用，演变为多步骤智能体流水线。基础设施设计重心，已从单一加速器规模，转向系统级资源匹配：如何为智能体工作流的每个阶段配置最优算力。加速器仍是预填充、解码与模型执行的核心；而 CPU 则在编排层发挥关键作用，支撑智能体跨工具、API、检索系统与云服务的任务调度与多轮调用。
这一转变意义深远，因推理结构正发生质变。传统推理多为线性流程：请求进入→模型响应→事务结束。智能体 AI 则完全不同：可自主规划、检索、调用工具、执行代码、请求 API、基于中间结果推理，并循环多次调用模型，最终输出结果。
这正在重塑数据中心形态。越来越多负载不再仅限于神经网络前向传播，更多算力消耗于加速器、内存、存储、网络与软件服务间的协同调度。架构决策正从服务器层，上移至机架层。
Austin Lyons 在 Chipstrat 中指出：“CPU 不是通用标准化产品，其价值竞争非单一维度。”此观点至关重要。异构 AI 机架无需通用 CPU，而需专为任务优化的 CPU：持续为加速器供数据、执行内存密集型解码、处理模型间隙的智能体任务。
AI 基础设施在推理各阶段日益专用化，典型特征之一是预填充与解码逐步解耦。预填充负责处理提示词、构建 KV 缓存，属计算密集型，高度依赖加速器。解码阶段逐词生成响应；随着上下文增长，其受内存带宽、容量与 KV 缓存迁移制约加剧。
异构 AI 机架需整合各类专用组件，形成统一系统。它能路由请求至对应层级，在预填充与解码间高效流转数据，管理 KV 缓存、维护会话状态、执行非模型任务，并全程保障服务等级目标 (SLO)。
正因如此，行业开始以系统视角审视 AI 基础设施。数据中心可承载的智能体任务规模，不仅取决于加速器算力，更取决于 CPU、内存带宽、网络性能、软件编排能力及真实负载下的全局均衡能力。架构核心问题，已从“能部署多少加速器”变为“如何为各阶段精准配置与协同调度”。
在此架构下，CPU 应用场景不再单一，而是呈现多元化分工。
第一类为预填充主机 CPU，负责统筹计算密集型阶段；第二类为解码主机 CPU，管理延迟敏感、内存密集型阶段；第三类为智能体/工作节点 CPU，作为计算层，承载模型间隙的智能体任务。三类角色互相关联，但评估标准各异。
这种认知重构至关重要。行业曾普遍将“主机 CPU”视为辅助组件，但在机架级异构架构中，此观念已过时。基础设施团队需依据推理各层级任务差异，针对性评估 CPU 算力。
依托新系统设计思路，团队可根据真实负载特征，合理配比各层级资源。例如，长提示、短输出负载需强预填充算力；长会话聊天机器人依赖解码算力与内存带宽；企业级多智能体流程则需大量工作节点 CPU 支撑工具调用、信息检索、策略校验与应用编排。
与此同时，异构基础设施长期存在的核心壁垒正被打破。传统多架构部署存在软件适配难题：跨平台移植、栈验证、性能调优、DevOps 适配等繁琐。而智能体开发模式大幅简化流程，AI 辅助的移植、测试、验证与运维，显著降低多架构落地周期与风险。
这一变革意义重大，架构逻辑已重塑。团队无需再为简化运维，强行统一所有负载于单一架构。如今可为 AI 系统各层级匹配最优架构，并通过现代软件自动化，隐性管控复杂度。
此转变也重构了 AI 基础设施经济模型。行业关注点不再仅是“哪款加速器吞吐最高”，而是聚焦整机架如何高效将功耗、内存、I/O、调度资源转化为有效 AI 算力。
这是系统级问题，非单一组件问题。
这也正是 Arm 架构优势充分释放的场景。当前 AI 基础设施正朝异构计算、高并发、功耗受限扩容、软件定义编排演进。此类场景高度依赖每瓦性能、广泛生态与架构灵活性——这正是 Arm 的核心优势。
Arm AGI CPU 专为适配此变革设计，将 Arm 云技术延伸至新一代智能体 AI 系统，让 CPU 在任务编排、内存协同、加速器管理与机架能效优化中担纲核心。
异构 AI 机架的核心价值，非单一参数，而是多项能力集成：高核心密度、高内存带宽、高速 I/O、原生 CXL 支持、成熟软件生态，及功耗约束下的高能效。这些特性精准匹配前述三类 CPU 角色：预填充主机、解码主机、智能体工作节点。
Arm 丰富生态为开发者提供多元选择。基于 Arm 的 CPU 已广泛用于云计算、网络、边缘与 AI 系统。伙伴可根据定制需求与上市周期，灵活选用 Arm IP、计算子系统或量产芯片。随着 AI 基础设施分化为多类专用互联架构，此灵活性价值愈发凸显。
行业正跳出“加速器优先”的单一思路。加速器仍关键，但仅为系统一环。未来核心差异，将体现在整机架的调度能力、资源效率与真实智能体负载下的稳定性。
在智能体 AI 时代，机架即系统，异构架构成常态，CPU 成为 AI 数据中心选型中不可或缺的一环。
想持续吃透芯片、工控、AI、机器人硬核内容？加入「半导体极客」知识星球，圈内同行终身交流学习。