AI数学的深浅

今天聊点硬核话题。一个疑问：AI究竟运用了多深奥的数学？从技术手段和架构来看，AI所涉数学的“平均年龄”已达150岁，绝大多数源自19世纪以前：矩阵运算、梯度下降、链式法则、傅里叶变换、内积、概率论，大多属于本科低年级课程。然而，AI涌现出的某些现象，即便是当前最前沿的数学理论也无法阐释。我总结了几个备受关注的现象：- 缩放定律：当模型规模扩大、数据量增加、算力提升时，模型的损失函数会遵循一条极其平滑的幂律曲线下降，在对数坐标下近乎直线。面对一个拥有数千亿参数、内部高度复杂的巨型网络，其宏观表现竟如此井然