OpenAI 原版缩放定律被推翻:实验设计存在致命逻辑错误
Scaling Laws 是过去五年里人工智能领域最核心的基石之一。它揭示了一个规律:模型规模越大、投入的数据越丰富,模型的表现就越出色。这种简单且确凿的信念,正是促使 GPT-3、PaLM 以及当下所有大型语言模型进行激烈军备竞赛的动力源泉。然而,前 OpenAI 研究员 Diogo Almeida 在 Complete Skeptic 专栏发布的一篇文章揭露了一个令人震惊的事实——归功于 Kaplan 等人的原始 Scaling Laws,实际上从一开始就是一个谬误。造成这一局面的罪魁祸首并非算力不足