真正的危险并非人工智能，而是背后的系统

无论如何，通用人工智能都不会源于政府的资助。它将从目前正投入数十亿美元研发的某家科技巨擘中诞生。届时，你将置身于一个从未征得你同意、也从未获得你投票支持的世界，与一个超级智能的“外星物种”同居一室——而这个物种唯命是从于一家企业的目标和规则。这家企业有权查阅通信记录、你说的每一句话，并利用你的个人数据掌控这个国家里每个人的行踪。

监控资本主义极易迅速演变为数字极权主义。乐观地看，这些科技巨头将成为人类福祉的“自我任命”仲裁者——这简直是让狐狸看守鸡窝。他们绝不会想到利用那种力量来对付我们，并将我们榨干最后一滴血汗。

这比我40年前在《终结者》中看到的场景更为可怕。原因无他，只因这已不再是科幻小说。

人工智能并非真正的威胁，真正的威胁在于系统。

我们今天所面对的人工智能，或许比我们在《终结者》里设想的任何情境都要危险。詹姆斯·卡梅隆曾这样说过，他并未说错。但他仅仅触及了问题的表象。因为核心问题不在于人工智能本身，而在于构建人工智能的那个系统。

我们常问这样的问题：人工智能会失控吗？它会反过来伤害我们吗？但这基于一个重要假设——人工智能拥有意图。实际上它并没有。人工智能不会做任何决定，它只是追随目标并优化结果。而这些目标是由我们设定的——或者更准确地说，是由我们所创造的系统设定的。

看看人工智能如今的发展态势：庞大的数据集和全球性基础设施，全部集中在少数几家公司手中——如谷歌、Meta 和亚马逊。这并非什么阴谋，仅仅是当前系统的运作模式。

现在更深层的问题是：那究竟是一个什么样的系统？这是一个由激励机制驱动的系统：增长、利润、参与度、市场主导地位。这些单独来看并不邪恶，但当你将它们与强大的技术结合时，它们就开始塑造一切。

社交媒体就是一个简单的例子。它不仅仅是连接人们，它优化的是注意力。而注意力往往流向愤怒、冲突和极端内容——并非有人刻意设计如此，而是系统恰好奖励这些东西。试想同样的逻辑被人工智能放大：更快的决策、更精准的预测、更大的影响力。人工智能不会改变方向，它只会加速。

因此，真正的问题不是“人工智能会不会变得危险”——真正的问题是：它在优化什么？因为无论答案如何，人工智能都会将其推向我们凭借自身力量永远无法企及的程度。

事情变得有趣了，因为过去二十年确实发生了一些变化。互联网不仅赋予了我们新工具，还改变了价值创造的方式。如今，任何人都可以创作、发布，触达成百上千万人。这是全新的。但与此同时，支撑这一切的平台仍掌握在少数中心化系统手中。它们决定什么能被看见、什么能传播、什么会消失。

因此，我们处于一个奇怪的位置：新的能力，旧的架构。而这种张力至关重要，因为它决定了我们要建造什么样的未来。

因此，当我们谈论人工智能时，不应只问它能做什么。我们应问：谁控制它？什么激励机制在引导它？谁从它的决策中受益？

因为人工智能不会独自创造一个新世界。它只会映照出我们现有的那个世界——只是更快、更强、更难逃离。

还有一件事。我们大多数人喜欢相信自己做出的选择是独立的。但事实是，我们的决策被我们未曾设计的环境、以及我们几乎注意不到的激励机制所塑造。这并不意味着我们没有自由。但这意味着：系统比我们想象的要重要得多。