AI数学的深浅
今天聊点硬核话题。一个疑问：AI究竟运用了多深奥的数学？从技术手段和架构来看，AI所涉数学的“平均年龄”已达150岁，绝大多数源自19世纪以前：矩阵运算、梯度下降、链式法则、傅里叶变换、内积、概率论，大多属于本科低年级课程。然而，AI涌现出的某些现象，即便是当前最前沿的数学理论也无法阐释。我总结了几个备受关注的现象：- 缩放定律：当模型规模扩大、数据量增加、算力提升时，模型的损失函数会遵循一条极其平滑的幂律曲线下降，在对数坐标下近乎直线。面对一个拥有数千亿参数、内部高度复杂的巨型网络，其宏观表现竟如此井然
压缩即智能
在“ai眼里”，人类所有信息的表达，本质上不过是token之间的衔接关系。它的输出方式可以理解为更高级的文字接龙：根据当前内容，优先给出出现概率最高的下一个字；而只要算力足够，就能不断往下接。看起来这套流程有点粗，但放到当下却很实用，关键原因之一在于：当模型对token之间的关系、也就是参数的容纳空间足够大时，就更容易产生涌现。ai里这些参数如何形成，业内通常称为训练；而我更愿意把它类比成“蒸馏”。这是一种逆向工程，就像我们小时候做英语完形填空：题目给了空，我们填词可能填错了，随后再学习修正；而ai则会在
AI时代决胜点：从掌握工具到理解系统
这两年，众人都在钻研如何驾驭AI。怎样撰写提示词，怎样构建工作流，怎样打造智能体，怎样让它协助你撰写文案、修改代码、制作表格、生成汇报。这些固然关键。但我愈发强烈地察觉到一点：倘若一个人理解AI，仅停留在提示词和工具技巧层面，那其实并未真正入门。因为提示词属于“术”，而非“道”。AI真正强大之处，不在于能否写出一段话，而在于它开始展现出两种仅属于高级智能系统的特质：学习与涌现。这两个词才是解锁AI的关键。切勿轻视这一差异。若将AI视为“高级工具”，你所习得的便是一堆迅速过时的技巧。若将AI视为“正在形成的
揭秘AI「涌现能力」：真相与迷思
揭秘AI「涌现能力」：真相与迷思2022年，谷歌研究团队发布了一篇关于大语言模型涌现能力的论文。文中揭示了一个令研究者困惑的现象——当模型参数规模跨越特定临界点后，某些任务的表现会骤然提升，而非渐进改善。如同水在100℃时突然沸腾，99℃时毫无征兆。这一发现在AI领域引发震动，触及了核心困惑：我们究竟在创造什么？这种现象被命名为「涌现」，源自复杂系统科学术语。核心在于整体展现的特性远超个体之和。将无数神经元组合成大脑，意识在某刻诞生；将鸟群放飞天空，它们自发形成精密编队。无中心指挥，无统一调度，能力自然显