AI集群的隐形支柱——数据中心交换机解密
在GPU的狂热背后，一场隐秘的网络较量正悄然展开。
单块GPU的算力早已绰绰有余，万卡集群的最大掣肘，从来不只是芯片，还有互联网络。
今天我们来探讨一个常被轻视的AI硬件——数据中心交换机。
01
为何交换机是AI的隐形瓶颈
从2023年起，全球陷入了一场空前的算力争夺战。
众人的目光几乎全聚焦于GPU：
🔶NVIDIA的H100、H200、B200供不应求；
🔶各大云服务商疯狂抢购GPU；
🔶全球企业竞相搭建AI数据中心。
同时，美国对GPU芯片向东方大国严加管控、Deepseek逆势推出不依赖顶级GPU的大模型、而Google、OpenAi、Meta则靠砸钱堆砌海量GPU硬件来增强AI大模型实力。
几乎可以说：AI竞赛，就是谁手握更多、更强的GPU。
这种说法不算错，GPU确实是AI时代最核心的运算芯片。
然而，当AI模型规模从数十亿参数演进到千亿、万亿参数，当训练集群从几十张GPU扩展到数万张GPU时，一个潜伏的问题开始显现：
GPU之间如何沟通？
因为训练一个大型AI模型，并非单张GPU独自完成任务。
一个万亿参数模型，可能需要：
🔶数千甚至数万颗GPU；
🔶数十万个计算核心；
🔶几PB级别的数据交换。
这些GPU必须不停地交换信息：
🔶同步模型参数；
🔶交换中间计算结果；
🔶协调不同任务。
如果GPU间的通信速度跟不上，那么昂贵的GPU只能空转等待。
这好比10000名顶尖工程师同时工作，但每日会议需耗费数小时，人再多也难以提升效率。
因此，AI时代浮现了一个新瓶颈：算力越强，越依赖高速网络。
而串联这些GPU的核心设备，就是交换机。
许多人对交换机的认知可能还停留在“办公室连接电脑的盒子”这种陈旧印象中。
这其实只是交换机最原始的应用。
用专业而简明的描述：交换机就是网络中的数据调度中枢。
它负责判定哪些数据，从何处来，往何处去。
为便于理解AI交换机，可把一个AI集群比作一座超级工厂。
若没有交换机，海量GPU无法凝聚成整体，每颗GPU只能孤立运作。
普通办公网络中，电脑偶尔浏览网页、传输文件，网络压力并不大。
但AI训练截然不同，GPU之间每秒可能交换巨量数据。
因此，AI交换机已不再是简单的“网络设备”。
它更像一套专为超级计算打造的数据高速公路管控系统。
一句话概括：GPU主“算”，交换机管“通”。能算多快看GPU，能堆多大、多高效，全看交换机。
交换机的发展，大致经历了三个时期。
20世纪90年代后，随着PC普及，企业需连接大量电脑。
交换机开始替代传统集线器。
它解决的问题很直接，就是让办公室里的电脑互相通信。
特点：
🔶速度要求不高；
🔶规模有限；
🔶主要服务人。
2000年后，互联网爆发。
Google、Amazon、Facebook等公司建设大型数据中心。
服务器数量从几十台增长到数十万台。
交换机开始承担服务器间通信、数据存储访问、云计算任务调度等工作。
此阶段交换机从“办公设备”蜕变为“数据中心基础设施”。
显然，大模型起到了巨大的助推作用。
过去服务器间偶尔交换数据。
如今数万GPU需要持续通信。
网络要求发生巨大转变：
普通网络依业务需求允许不同程度延迟，例如网页访问几十毫秒甚至更高也能接受。
AI训练网络则要求达到微秒级甚至更低，因为大量GPU必须同步工作，任何等待都会被成千上万倍放大。
交换机正式迈入AI时代。
理解AI网络前，先得知道一个概念：RDMA
GPU最怕的不是计算慢，而是在等待数据。
RDMA解决的问题，就是让GPU间交流更快。
传统网络数据传输路径大致如下：
GPU → 内存 → CPU → 网卡 → 网络 → CPU → 内存 → GPU
从中可见CPU参与了大量数据搬运。
结果延迟增加、CPU成为瓶颈、数据复制浪费时间。
RDMA改变了这个过程，它允许GPU直接访问远端GPU的数据。
数据传输路径变成了：
GPU → 网卡 → 网络 → 网卡 → GPU
减少了CPU参与、内存复制、软件处理等过程。
简单理解就是传统网络像两个工厂间运输货物，需经总部审批。
RDMA则让工厂间直接建立高速物流通道。
对于AI训练来说，意味着GPU间可以像一个整体般协同工作。
这也是AI网络区别于传统网络的主要特征。
目前AI网络主要存在三条路径。
InfiniBand简称IB。
它最早就是为高性能计算设计。
优势是极低延迟、高可靠性、性能成熟。
当前全球有大量大型AI集群采用IB网络。
英伟达通过收购Mellanox Technologies，获得了领先的InfiniBand技术，成为英伟达AI生态的重要组成部分。
IB具备NVIDIA生态完整的优点，但同时也造就了它的缺点：生态封闭，成本较高。
RoCE全称是Remote Direct Memory Access over Converged Ethernet。
从字面意思能看出是让传统以太网拥有RDMA能力的意思。
优势是使用成熟开放的以太网生态、成本更低、兼容性更好。
如今越来越多企业希望采用RoCE。
原因可能是大家不希望AI网络完全被某一家厂商闭环体系所绑定。
普通以太网仍是全球最大的网络基础。
优势是便宜、开放。
但它最初设计目标不是AI超级计算。
面对万卡训练容易出现拥塞、丢包、延迟。
从以上可知，未来AI网络竞争，本质是：
封闭高性能网络 VS 开放以太网生态。
AI交换机最大的变化，不是“速度更快”，而是它被重新设计。
普通交换机拼的是：端口数量、带宽大小。 AI交换机拼的则是四大硬核能力：
普通互联网丢一个数据包，重新发送即可。
AI训练中一个数据包丢失，可能导致整个计算任务等待。
因此AI网络要求尽可能不丢包。
普通网络中毫秒级延迟可以接受。
AI训练需要微秒级响应。
因为几万个GPU同时等待时，任何延迟都会被放大。
AI流量非常特殊。
大量GPU同时发送数据，容易形成瞬间洪峰。
交换机需要更大的缓存以缓冲数据流。
普通交换机48个端口已很常见。
AI交换机需连接几十、几百甚至上千个GPU节点，动辄128口、256口高基数。
端口数量越多才能构建更大规模集群。
端口越多、单跳层级越少、延迟越低、集群效率越高。
核心原因显然是GPU数量爆炸。
以前8张GPU服务器就已很强，如今一个AI集群可能拥有10000张GPU。
所以问题来了：随着GPU数量增加，通信需求不是简单随GPU数量线性增长，而是快速攀升的。
因为GPU间需大量互相交换信息。
GPU越多通信关系越复杂。
更麻烦的是MoE模型进一步放大网络压力。
MoE（Mixture of Experts，混合专家模型）是一种将大型模型拆分成多个“专家模块”的架构。面对不同输入，系统会选择部分专家参与计算，而非让所有参数全部运行。
由于不同专家可能分布在不同GPU上，或者说
不同GPU负责不同专家，数据需在GPU间频繁转移，因此MoE模型会显著增加网络通信压力。
结果就是未来AI模型越先进，对网络要求就越高。
前面提到过，美国的AI巨头们砸重金堆GPU数量以提升大模型的能力。
那么买10000张GPU，就拥有10000张GPU的性能吗？
很显然并非如此。
如果网络不足，GPU会出现：
🔶等待数据；
🔶等待同步；
🔶等待其他GPU完成任务。
结果就是昂贵GPU利用率下降。
这就是AI行业里的一个重要问题：
算力不是买回来就自动产生价值，而需高效网络把它组织起来。
未来AI竞争不是简单比较谁拥有多少GPU。
而是谁能让GPU跑得更充分。
上一篇介绍GPU的文章里提到过，英伟达已不只是GPU公司，它正在打造完整AI基础设施，形成强大的AI生态。
这些设施包括：
🔶GPU；
🔶CUDA软件生态；
🔶NVLink高速互联；
🔶InfiniBand网络。
其中网络能力也是关键拼图之一。
GPU像发动机，网络像变速箱。
没有高速网络，再强的发动机，也无法发挥全部性能。
这也是为什么英伟达收购Mellanox之后，AI竞争优势进一步扩大。
它卖的不只是芯片，而是一整套AI超级计算平台。
中国在交换机领域已具备较强基础。
Huawei、ZTE、H3C等企业长期深耕网络设备。
在企业网络、数据中心交换机、云计算网络方面已具备竞争力。
但AI高速网络仍存在挑战，主要包括三个方面：
AI交换机需要高速SerDes接口。
需要先进半导体能力。
AI网络不仅是硬件。
还需软件库、调度算法、集群管理。
英伟达最大的优势不是单一产品而是完整生态。
国产厂商需从设备供应商角色向AI基础设施解决方案提供者角色转变。
国产厂商并非不会制造交换机，而是在面向万卡AI集群的高端网络领域，需突破高速交换芯片、软件生态和系统优化能力。
未来几年，AI网络还会继续升级。
GPU性能不断提升，网络带宽必须同步增长。
CPO（Co-Packaged Optics，光电共封装）就是将光模块从交换芯片旁搬到芯片封装内部。
传统做法是芯片和光模块分开。
未来交换芯片和光模块可能越来越融合。
目标是降低功耗、提升速度。
未来可能减少电子交换，直接利用光进行数据交换。
进一步突破带宽瓶颈。
未来GPU、HBM、网络间边界越来越模糊。
整个AI系统可能成为一个巨大的计算节点。
大家关注GPU，是因GPU决定计算能力。
但未来AI比拼的不只是谁有更多GPU，还要看谁能让更多GPU高效协同。
一台GPU是一颗强大的芯片。
一万个GPU通过高速网络连接起来才是一台真正的AI超级计算机。
如果说GPU是AI时代的大脑；HBM是高速记忆；光模块是神经传输；那么交换机，就是连接整个AI大脑的神经中枢。
未来人工智能的竞争，不只是芯片战争。更是一场关于算力、存储、网络和基础设施的综合战争。
而交换机，正在成为这场战争中最易被忽视，却越来越关键的幕后英雄。