压缩即智能

在“ai眼里”，人类所有信息的表达，本质上不过是token之间的衔接关系。它的输出方式可以理解为更高级的文字接龙：根据当前内容，优先给出出现概率最高的下一个字；而只要算力足够，就能不断往下接。看起来这套流程有点粗，但放到当下却很实用，关键原因之一在于：当模型对token之间的关系、也就是参数的容纳空间足够大时，就更容易产生涌现。ai里这些参数如何形成，业内通常称为训练；而我更愿意把它类比成“蒸馏”。这是一种逆向工程，就像我们小时候做英语完形填空：题目给了空，我们填词可能填错了，随后再学习修正；而ai则会在训练过程中去调整参数。差别在于，人类的测试一辈子也许就那一千次左右；模型却能训练万亿次。最终沉淀下来的数以万亿计参数，本质上是对万物关系的压缩总结。换句话说，压缩就意味着智能。人类对自身智能活动并没有一个完全明确的定义：意识、审美、逻辑、感觉、认知这些词都很模糊。很多人说自己“认知高、审美好”，但你追问到更细处，他往往说不清，听起来更多是凭感觉。基于这种观察，我认为ai之所以能发展得如此迅速，一个重要可能是：我们人类在说话时，也同样是在沿着神经活动“吐出”下一个字。站在这个角度看，大家都可以被蒸馏。我们平时聊各种语录：比如雪球上方丈语录，最擅长模仿的那位浪哥，方丈刚说出一句，浪哥就能接出下一句，还能把方丈的内心分析讲得入木三分——这就是蒸馏。浪哥把上下文吃得很透，却也不知道自己为什么会这么准；而ai则把这种感觉落成了具体参数。于是当方丈说出某个字时，ai的网络里相应节点被触发，自然就接出下一个字。说回skill：我认为真正高阶的技能，绝不只是简单的提示词，而是被压缩后的智能。它读过极长的上下文，归纳出这个人输出时token之间的关联规律，并由此理解在特定情境下这个人会做什么。国外有人做过类似实验：只给某个ai输入关于小胡子、且发生在二战之前的大量信息，让它推测小胡子接下来会干什么，ai给出的判断之一是——他很可能会成为独裁者。