压缩即智能

在“ai眼里”，人类所有信息的表达，本质上不过是token之间的衔接关系。它的输出方式可以理解为更高级的文字接龙：根据当前内容，优先给出出现概率最高的下一个字；而只要算力足够，就能不断往下接。看起来这套流程有点粗，但放到当下却很实用，关键原因之一在于：当模型对token之间的关系、也就是参数的容纳空间足够大时，就更容易产生涌现。ai里这些参数如何形成，业内通常称为训练；而我更愿意把它类比成“蒸馏”。这是一种逆向工程，就像我们小时候做英语完形填空：题目给了空，我们填词可能填错了，随后再学习修正；而ai则会在