大模型背后的数学支柱
人工智能的基础有哪些呢？在常见的讨论中，常给出的答案往往是"算力""数据"或"Transformer 架构"。这些回答并没有错，却停留在工程层面。若沿着技术栈继续下探，会发现真正支撑 GPT、Claude、Gemini 等新一代大语言模型（Large Language Model, LLM）的，是三门基础的数学学科——线性代数、微积分、概率与统计。
事实上，学界目前尚缺乏一套能够完整解释 Transformer 全部行为的统一数学理论（Tai et al., 2025）；但在"输入表示—信息加工—参数训练"这条主干链路上，每一步都可以清晰地对应到上述三门学科。本文尝试沿这条链路做一次拆解，说明每一环节背后的数学原理及其必要性。
在展开之前，不妨先给出一个整体图景：线性代数提供了"表示"的语言，负责把离散的文字转化为连续的向量与矩阵；概率与统计提供了"目标"的语言，规定了模型该学习什么、以何为优；微积分则提供了"优化"的语言，回答如何在庞大的参数空间中逐步逼近这一目标。三者分工明确又彼此耦合，共同构成大模型运转的数学骨架。
计算机只能处理数值，因此大模型的第一步是把文本切分为词元（token），再通过词嵌入（embedding）将每个词元映射为一个高维实向量。设词元 词 对应向量 词 模 型 ，其中维度 模 型 在主流模型中通常取 2048 至上万。这相当于把每个词安置在一个高维"语义空间"中的一点，且语义相近的词，其向量在空间中彼此邻近——词与词的语义关系被系统性地编码为几何关系。
一个常被引用的现象是，早期静态词向量（如 word2vec）中存在近似的线性类比："国王 − 男人 + 女人 ≈ 王后"。这表明模型能够将"性别""王权"等抽象属性，编码为向量空间中可线性叠加的方向。需要说明的是，该现象描述的是静态词向量；在大模型内部，词的表示会随上下文动态变化，情形更为复杂。
Transformer 存在一个先天特性：它并行处理全部词元，因而不能自然感知词序。为区分"我打你"与"你打我"，需引入位置编码 位 置 ，使初始表示成为内容与位置的叠加：
Vaswani 等人（2017）采用正弦、余弦函数构造位置编码，其优点在于便于模型学习不同位置间的相对关系。
进入网络后，几乎所有信息加工都归结为矩阵乘法。单个线性层执行的运算不过是，即用权重矩阵将向量变换到新的空间；矩阵的维度决定信息在何种空间中流动，其取值则是训练所学到的知识本身。整个模型由数十至上百层此类变换级联而成。这也解释了图形处理器（GPU）之于大模型的关键地位：其硬件架构本就为大规模并行矩阵运算而设计。
Vaswani 等人（2017）在《Attention Is All You Need》中提出的注意力机制（attention），是 LLM 的核心组件。它所应对的问题是：一个词的含义高度依赖上下文——"苹果"究竟指水果还是公司，取决于句中其他词。
注意力机制为每个词元生成三个向量：查询（Query,）、键（Key,）、值（Value,），均由输入向量与相应权重矩阵相乘得到，可分别理解为"所求""所供""所载信息"。其运算被概括为如下形式（Vaswani et al., 2017）：
逐项分析：其一，为查询与键的点积，度量任意两词元间的相关度，本质是线性代数中的内积；其二，除以 键 是基于统计考量的缩放。若假设、各分量相互独立、均值为 0、方差为 1，则点积的方差会随维度 键 线性增长；过大的数值会将 softmax 推入梯度趋近于零的饱和区，导致训练停滞。除以标准差量级的 键 ，正是为将方差约束在稳定区间（Vaswani et al., 2017）。其三，softmax 将相关度归一化为概率分布——每个词分得一个介于 0 与 1 之间、总和为 1 的权重。至此，运算的性质从线性代数过渡到概率论。softmax 函数定义为：
最终输出是全部 Value 的加权平均，权重即上述概率。换言之，注意力机制可概括为"依相关度概率对信息进行加权求和"。实际模型通常并行运行多组注意力（多头注意力），以从不同子空间同时刻画同一序列。
此处需澄清一个常见误解：大模型并非在"检索"既有答案，而是在执行概率预测。其基本任务是下一词元预测（next-token prediction）——给定前文，估计下一个词元的概率分布（Trauger & Tewari, 2025）。
依据概率论的链式法则，一段文本的联合概率可分解为条件概率之积：
模型的目标即学习每一项。生成文本时，它从该分布中采样，这也是同一提问可能得到不同回答的原因。常见的"温度"参数，本质上是在采样前对分布进行调节：温度升高使分布趋平、输出更具多样性；温度降低则使高概率词元更易被选中、输出更趋保守。
衡量预测优劣的标准是交叉熵损失（cross-entropy loss）。对语料中每一位置，模型给出预测分布，而真实的下一个词元对应一个"独热"分布，交叉熵度量二者的差异：
这一目标具有深刻的统计学含义：最小化交叉熵等价于最大化训练数据的似然，即经典统计学中的最大似然估计（Brenndoerfer, 2026）。从信息论角度看，交叉熵衡量"真实词元在模型预测下的意外程度"，以比特为单位；其理论下界正是语言本身固有的、不可消除的不确定性（熵）。模型训练得越好，该损失越接近这一下界。
这一范式还带来两个常被忽视的推论。其一，模型是自回归（autoregressive）的：它逐词元生成，每一步的输出又并入下一步的输入，因此长文本的连贯性由一系列局部概率决策累积而成。其二，评估语言模型时常用的困惑度（perplexity）指标，正是交叉熵的指数形式，可直观理解为"模型在每一步平均于多少个候选词元之间犹豫"——困惑度越低，模型对语言的把握越确定。由此可见，从训练目标到评估指标，概率与统计始终是贯穿其中的主线。
模型初始的数千亿参数为随机值，损失极高。将其调整至最优，依赖微积分。
核心方法是梯度下降（gradient descent）。可将损失函数视为高维参数空间上的曲面，训练目标是寻找其极小值。微积分指出，梯度指向函数上升最快的方向，故其反方向为下降最快的方向。于是参数沿反方向迭代更新：
其中 学 习 率 为学习率，控制步长：过大易在极小值附近震荡，过小则收敛缓慢，其取值是训练调优的关键。
面对上百层、数千亿参数，如何高效计算损失对每一参数的偏导，则依赖反向传播（backpropagation）。其数学内核是微积分中的链式法则：
误差信号自最终损失出发，沿网络逐层回传，每经一层乘以相应的局部导数，从而将梯度精确分配至每一参数。整个训练即"前向计算损失、反向传播梯度、更新参数"三步在海量数据上的反复迭代。可以说，链式法则是深度学习得以规模化的数学前提。
最后回到一个宏观问题：为何持续扩大模型与数据的规模？这源于统计学揭示的缩放定律（scaling laws）。Kaplan 等人（2020）发现，语言模型的测试损失会随参数量 参 数 、数据量 数 据 、算力 算 力 的增长呈现平滑的幂律下降。Hoffmann 等人（2022，即 Chinchilla 研究）进一步将损失刻画为：
其中 下 限 为不可约的固有损失，拟合所得指数约为、（不同研究的估计值略有差异）。该规律在跨越多个数量级的范围内保持稳定，使研究者得以据小规模实验外推大规模模型的表现。Chinchilla 研究还给出一条经验准则：模型规模与训练数据量应大体匹配增长，从而修正了早期"模型偏大、数据不足"的配置倾向。
值得强调的是，缩放定律是经验拟合的产物，而非严格定理。幂律能否无限外推、可用数据是否趋于枯竭，仍是概率统计与机器学习理论持续探讨的开放问题。
回到开篇之问：人工智能的基础有哪些呢？
综上，线性代数将语言转化为可计算的向量与矩阵；概率与统计赋予模型"预测下一词元"的建模范式及最大似然的学习目标；微积分则通过梯度下降与链式法则，使模型得以从误差中迭代改进；而缩放定律又以经验统计规律，为整体的规模扩张提供了依据。
大模型并未创造全新的数学。其真正的贡献，在于将这几门成熟学科以前所未有的规模与精度加以组织，从而在充足算力与数据的条件下"涌现"出令人瞩目的语言能力。理解这三根支柱，或许正是理性看待这场技术浪潮的起点——它并非魔法，而是数学在算力时代的一次系统性协作。
推荐《人工智能的模型数学基础》一书，该书系统讲解人工智能大模型（如BERT、GPT、Stable Diffusion等）所需的数学基础，涵盖线性代数、微积分、概率与统计三大核心领域，并结合实际案例与Python代码，解析数学原理在模型架构、训练与优化中的关键作用。
参考资料：Vaswani, A., et al. Attention Is All You Need. NeurIPS, 2017. Tai, X.-C., et al. A Mathematical Explanation of Transformers. arXiv:2510.03989, 2025. Kaplan, J., et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020. Hoffmann, J., et al. Training Compute-Optimal Large Language Models (Chinchilla). DeepMind, 2022. Trauger, J., & Tewari, A. On Next-Token Prediction in LLMs. arXiv:2505.11183, 2025. Brenndoerfer, M. Cross-Entropy Loss: Information Theory for Language Model Training. 2026. Weng, L. Scaling Laws, Carefully. Lil'Log, 2026. Neural scaling law. Wikipedia.