AI界两年真相揭秘：Scaling Law奠基之作暗藏bug，GPT-3竟成「虚胖典型」
一则推文，阅读量突破15.9万。
内容令众多大模型从业者脊背生寒：那篇几乎定义了整个LLM时代训练范式的论文，存在计算失误。
出错的竟是核心结论。这一疏漏，在暗处支配行业长达两年的训练策略，直至DeepMind动用逾四百个模型将其推翻。
发布这则推文者名为Sander Dieleman，供职于Google DeepMind，账号@sedielem。他如此写道：
"Here's a cool piece of LLM lore: the original scaling laws were wrong due to a bug, which probably led to a lot of wasted compute on oversized undertrained models 😱 (and that was before we even started properly accounting for inference cost!)"
「一则颇具趣味的LLM掌故：最初的scaling laws因程序漏洞而失真，致使海量算力挥霍于体量臃肿却训练匮乏的模型之上😱（彼时我们甚至尚未着手精准核算推理开销！）」
▲ Sander Dieleman（Google DeepMind）的此番转发，15.9万次浏览、947次点赞，评论区沸沸扬扬。
Dieleman所转发的，系前OpenAI成员Diogo Almeida的一篇深度长文。此人来历颇重：曾参与RLHF及ChatGPT的初创阶段，现任typesafeai首席执行官。
他所揭露之事，牵扯到整个行业奉为圭臬的一条"定律"。
Scaling laws，译作"规模法则"，意即模型愈巨、数据愈丰、算力愈强，成效愈佳，且此种提升可用公式加以预判。
2020年，OpenAI的Jared Kaplan、Sam McCandlish、Dario Amodei等人发表了那篇后来被视为经典的论文《Scaling Laws for Neural Language Models》。它向整个行业传递了一个信息：在同等算力约束下，将模型做大、数据相对精简，效果反而更优。
这一论断，成为GPT-3之后一整代大模型的设计纲领。
Diogo Almeida在博客《Scaling Laws, Honestly》中将这段往事和盘托出：
"TL;DR: The original scaling laws were wrong due to a bug."
「简而言之：最初的scaling laws因漏洞而谬误。」
▲ Diogo Almeida（前OpenAI成员，现typesafeai CEO）的推文，22.9万次浏览，拆解出漏洞三要素。
更具反讽意味的是，他本人当年正在OpenAI从事大模型优化，该论文发表之际他亦曾研读，却未能察觉症结所在。他事后解释，学习率的相关设定"看似刻意为之"，故而无人深究。
问题根植于Kaplan该篇论文的实验架构，可拆解为三个环节。
第一环节，论文中所用测试模型，参数量自7亿余至15亿不等，然所有模型均以完全一致的token数量加以训练——固定25万步，batch设为512条序列乘以1024 token，合计约1300亿token。
第二环节，学习率调度采用warmup后余弦衰减至零的模式。换言之，无论模型体量如何，训练临近尾声时学习率均被压制至趋近于零。
第三环节，论文原文尚补充了一句：
"We found that results at convergence were largely independent of learning rate schedule."
「我们发现收敛之际的结果，于学习率调度方式上高度独立。」
▲ arXiv:2001.08361，Kaplan等人（含Dario Amodei）2020年提出原始scaling laws。
三环节叠加，催生出一种极为隐蔽的幻象。小型模型于1300亿token上恰能充分训练，大型模型本应从更大数据量中持续获益，却被学习率提前掐灭，性能自然停滞。
表象呈现为"数据增量无益"，于是论文顺理成章地推导出：算力应优先倾注于模型规模，数据量可适度缩减，训练更当"显著提前终止"。依此逻辑演算的最优模型规模，几乎随算力的0.73次方增长，而数据量仅沿0.27次方缓慢攀升。
一个本应验证"无限数据"极限规律的实验，却被自身预设的上限，反向铸成了一则自证预言。
两年后，2022年，DeepMind的Jordan Hoffmann、Sebastian Borgeaud等人呈递了Chinchilla论文，训练模型逾四百个，参数自7000万延展至160余亿，token量自50亿一路拓展至5000亿。
三种彼此独立的方法，收敛于同一结论：模型规模与数据量应近乎等比例扩展，将Kaplan那套悬殊比例彻底颠覆。
▲ Chinchilla Figure 1：黑色虚线为Kaplan旧有预测，青色星标为Chinchilla所荐规模，差距达整整一个数量级。
为加以验证，DeepMind索性训练了一个按新规律配置的70B模型，命名为Chinchilla，投喂1.4万亿token，与同等算力预算下训练出的280B Gopher模型正面交锋。
结果如何？70B战胜了280B，顺带碾压了GPT-3、Jurassic-1等当红模型。
▲ arXiv:2203.15556，Chinchilla论文摘要开门见山点明"current large language models are significantly undertrained"（当前大语言模型训练明显不足）。
论文中那句措辞毫不留情：Kaplan团队"use a fixed number of training tokens and learning rate schedule for all models"，以固定的训练token数与学习率调度套用于所有模型，这正是症结所在。
按Chinchilla标准回溯审视，175B参数的GPT-3仅投喂约3000亿token，远未餍足。换言之，同等算力投入，本可训练一个规模更小但训练更充分的模型，效果反而更优，推理成本亦更低廉。
Gopher的280B亦未能幸免，被体量仅及四分之一的Chinchilla后来居上。
▲ Digg科技版块综述报道：一个历史遗留漏洞，令整个AI行业催生了一批体量过大、训练欠奉的模型。
浪费的算力具体折合多少GPU小时，迄今无人公开核算总账。但耐人寻味的是，评论区现身高曾在Google任职的技术人士，账号@pirroh，称其在Google内部时便已探讨此漏洞，只是直至今日方见有人公开撰文。
也就是说，此事于业内小圈子中，或许早已是公开的秘密，唯从未有人将其摆上台面。
这场讨论未止步于"论文出错"这般简单。它牵出了更多值得玩味的细节。
Kaplan论文当年采用非嵌入参数计数，排除了embedding矩阵。此一选择于小型模型上占比甚巨，外推至千亿级大模型时，偏差呈指数级放大。2024年Pearce与Song发表的调和论文中进行了模拟，证实依Kaplan那套非嵌入参数、小规模外推之前提，确会算出趋近0.73的偏差系数。
亦有人不认同"漏洞"之说。评论区中工程师反驳，称这很难被称为漏洞，充其量不过是特定实验条件下的局部结论，被过度泛化为普训规律。
▲ Hacker News上一篇相关技术长文下的讨论，有人追忆十年前初见scaling laws时的震撼，亦有人质疑"衰减"究竟意涵为何。
尚有一则颇有意趣的旁支发现：评论区有人经实验验证，同架构模型于法语语料上语法能力涌现所需token数，较英语少15至100倍——英语形态贫瘠，模型需观览更多样本方能揣摩规律。这意味着，过去数年被奉为圭臬的scaling laws，某种程度上实为"English scaling laws"。换作信息密度更高的语言，最优配比或许全然不同。
知名AI研究者Lilian Weng今年6月曾发长文，题为《Scaling Laws, Carefully》，"careful"一词，如今读来格外耐人寻味。
一篇被引用成千上万次、指导了GPT-3那代模型训练配置的论文，其实验设置本身便携带一个足以扭转结论方向的疏漏。这道疏漏避过了所有审稿人的审视，直至两年后另一实验室以全然不同的方法，训练了逾四百个模型，方将真相撞破。
连当年亲手参与相关工作的OpenAI旧部，事后回顾亦要坦承自己"当时未能察觉"。
Scaling laws依然有效，这一点无人质疑。只是它曾经指向的方位，谬误了整整两年——直至有人愿意将此事，如实写就。