AI计算集群概述

早期大语言模型训练多采用单卡模式，例如2018年时BERT-Large(3.4亿参数)可直接在单卡上完成训练。然而随着模型参数与数据量呈指数增长，单卡训练遇到三个主要限制：

1.显存容量限制

一个拥有700亿参数的模型，若采用FP16格式存储，仅参数存储就需140GB空间，而单张H100显卡仅有80GB显存。

2.计算时间约束 大模型训练所需的浮点运算量极为庞大，以GPT-3 1750亿参数为例，单张H100显卡需要约5年才能完成训练。

3.数据传输瓶颈 大语言模型训练需要处理TB至PB级别的海量语料，但单卡IO带宽有限，难以持续提供足够数据支持计算。

纵向扩展（Scale-up）

概念：在单一主机内集成更多GPU（如8卡HGX配置），通过NVLink实现高速连接。

局限：受机箱电源、散热及主板尺寸制约，通常最多支持8张或16张显卡。

横向扩展（Scale-out）

概念：利用交换机和线缆将数百至数千台服务器互连组网。

局限：网络带宽和通信延迟成为新的性能瓶颈。

当代AI集群普遍采用混合架构：强化单节点配置（如8卡单节点）+大规模集群扩展（千卡/万卡级别）。

算力集群结构示意图：

核心组件说明：

各关键组件将在后续章节中分别详述。

AI算力市场中，NVIDIA占据主导地位，华为昇腾系列作为自主研发体系代表致力于国产化替代，谷歌则通过自研TPU芯片支撑自家大模型训练需求。

NVIDIA建立行业垄断地位的关键不仅在于硬件产品领先，更重要的是其CUDA生态系统深度绑定全球开发者与主流AI框架。