OpenAI 原版缩放定律被推翻：实验设计存在致命逻辑错误

Scaling Laws 是过去五年里人工智能领域最核心的基石之一。它揭示了一个规律：模型规模越大、投入的数据越丰富，模型的表现就越出色。这种简单且确凿的信念，正是促使 GPT-3、PaLM 以及当下所有大型语言模型进行激烈军备竞赛的动力源泉。

然而，前 OpenAI 研究员 Diogo Almeida 在 Complete Skeptic 专栏发布的一篇文章揭露了一个令人震惊的事实——

归功于 Kaplan 等人的原始 Scaling Laws，实际上从一开始就是一个谬误。

造成这一局面的罪魁祸首并非算力不足，也不是理论模型有误，而是实验设计的逻辑环节中埋藏着 Bug。

换个通俗的说法，Scaling Laws 描述的是一种“幂律关系”：当你将模型的参数规模或训练的 token 数量翻倍时，其损失值会沿着一条可预见的直线轨迹降低。

这一定律的价值所在，在于赋予了工程师一种“预测未来的能力”：

Kaplan 等人在 2020 年的论文中给出了答案：训练数据的 token 数量与模型参数规模，应当保持大约 7:1 的比例同步增长。

这条法则很快便成为了业界的“圣经”。直到 2022 年 DeepMind 发表了 Chinchilla 论文，提出了一个截然不同的配方……

此时，出现了两条相互冲突的 Scaling Law：

这两条完全不同的“训练配方”，究竟哪一条才是正确的？

业界的主流解释是：“数据的统计口径不同”。但作者认为，这一解释其实并不准确。

真相其实更加直接——Kaplan 那篇论文的结论中藏着一个 Bug。

让我们逐步剖析这个 Bug 是如何产生的。

接着出现了一个更隐蔽的问题。他们采用了余弦衰减的学习率调度策略，随着训练接近预设的 token 上限，学习率逐渐归零，模型也随之停止了学习。

此时的 loss 曲线看起来似乎已经“饱和”了。但实际上——模型只是“被强制关机”了，并非真的学到了足够的知识。

最具讽刺意味的是：论文作者声称结果“对学习率调度基本不敏感”。然而，这却是在一个学习率已经降至 0 的实验中得出的结论，这就像是在说——

“我把车熄火了，发现车速没有增加，所以得出结论：油门并没有什么作用。”

这三个步骤相互叠加，产生了一条看似科学严谨、实则完全错误的 Scaling Law。

DeepMind 的 Chinchilla 论文做了一件事：让模型规模与数据量保持按比例同步扩展。

结果令人大跌眼镜：

也就是说：

这也是为什么 Chinchilla 被广泛认为是“推翻了 Kaplan 的旧案”——原来的 Scaling Laws 从始至终都是基于一个实验设计 Bug 所得出的结论。

文章作者在结尾提出了两点建议，我认为非常值得参考：

别再在这个问题上耗费精力了。Chinchilla 的 Scaling Law 现在已是行业基准，各大实验室都在沿用。Kaplan 原论文中的教训——主要是方法论层面的——已经被行业自然淘汰。

再完美的“真理”，也可能只是源于糟糕的实验设计。Scaling Laws 的概念本身没有问题，幂律关系在绝大多数情况下确实存在。问题出在执行环节——一个看似微不足道的实验设计缺陷，足以让整个领域误入歧途数年之久。

这也是这篇文章名为“Honestly”的原因：承认错误并不可耻，隐瞒或掩盖问题才是危险的。科学进步的本质，正是在不断的自我修正中向前发展的。

本文基于 Complete Skeptic 专栏文章“Scaling Laws, Honestly”进行整理解读

作者：Diogo Almeida · 原文发表于 2026 年 7 月 4 日

原文链接：https://www.completeskeptic.com/p/scaling-laws-honestly