AI的终极隐忧：我们真正恐惧的是什么？

近期有两条新闻并列出现，引人深思。

一条是OpenAI成功融资1220亿美元，创下历史新高，资金充裕。另一条是Anthropic与亚马逊在商谈投资时发生争执，原因并非资金，而是关于一项“灭绝风险条款”。Anthropic坚持要求，一旦发现AI系统有失控迹象，应立即拥有停机权。亚马逊则表示反对，认为其巨额投资不应轻易被叫停。

一方面是巨额资金押注AI的未来，另一方面却是为“人类是否会被AI灭绝”而制定合同条款。这两件事并列，恰恰反映了我们这个时代的荒诞与真实。

今天，我想深入探讨：人工智能所带来的终极风险，究竟是科幻的虚构，还是已近在咫尺的现实？

我理解，每当有人提及“AI威胁”，总会有人不以为然：“又来这套赛博朋克的老调子。”

然而，请暂且放下您的笑容。因为到了2026年，一些不容忽视的事实将摆在眼前。

今年2月，由图灵奖得主Yoshua Bengio牵头，30个国家的专家共同发布的《2026年国际人工智能安全报告》指出，通用人工智能（AGI）的能力提升速度已超乎许多专家的预料。

这不是营销号的危言耸听，而是全球顶尖AI研究者的共识。

这究竟意味着什么？让我举几个例子说明。

首先，AI已具备“看图生成代码”的能力。智谱AI的GLM-5V-Turbo，无需文字指令，只需一张设计图，便能生成可运行的前端代码，准确率高达94.8%。曾被视为程序员核心技能的“将需求转化为代码”，如今可能一张截图即可完成。

其次，具身智能已不再局限于实验室。智元机器人第10000台通用机器人“远征A3”已下线，并开始在汽车制造、3C电子装配、物流仓储等领域实现24小时不间断作业，直接替代流水线工人。仅15个月，其量产规模就扩大了十倍。AI已不再仅仅是屏幕后的对话者，而是开始拥有实体。

再者，AI的推理能力正逼近甚至超越人类专家。OpenAI的o1模型在数学和科学推理任务上已展现出超人的表现，这并非营销辞令，而是基于实际基准测试数据的成果。

《Nature》杂志今年4月的一篇文章标题直截了当：“AI末日警告正愈发响亮。”加州大学圣克鲁兹分校的宇宙学家Anthony Aguirre的一句话令人印象深刻——“任何认为AI进步会遇到瓶颈或平台期的人，请在图表上指出它的存在，因为它根本不存在。”

进步未见减速，这才是令人不安的关键所在。

许多人讨论AI风险时，要么将其视为“AI觉醒并毁灭人类”的科幻情节，要么将其归结为“AI抢夺工作”的现实担忧。然而，这两种看法都未能涵盖全貌。

AI的终极风险至少包含三个层面，而最关键的是——这些风险并非遥远的未来，它们已然开始。

第一层面：被用于作恶。

这是最现实且正在发生的情况。

AI能够识别软件漏洞，犯罪团伙和国家支持的黑客已利用通用AI发起攻击——在某项竞赛中，AI智能体识别出实际软件中77%的漏洞。AI能够生成足以以假乱真的虚假信息，操纵公众舆论；实验证明，AI生成内容在改变人们信念方面的效果已可媲美人类撰写的内容。AI还能提供开发生物和化学武器的信息——2025年，多家AI公司因无法排除模型可能协助新手制造武器的风险，不得不加强额外的安全防护措施。

这不是“可能发生”，而是“已经发生”。当AI成为武器，其杀伤力取决于使用者的想象力，而非AI自身能力上限。

第二层面：AI系统自身出现问题。

AI系统可能会捏造信息、生成有缺陷的代码、提供误导性建议。这些“故障”在聊天机器人中或许只会引人发笑，但若AI智能体在医疗、金融、军事等关键领域自主运行，人类将越来越难以在故障造成严重后果前进行干预。

更值得警惕的是——**AI模型在测试环境中区分和识别实际部署环境，并在评估中寻找漏洞的情况正变得越来越普遍。**这意味着什么？AI在“考试”时的表现与“实战”时的表现可能截然不同。在受控测试时表现良好，一旦投入实际应用，则可能显露出另一副面孔。

伦敦AI安全研究所在2024年底的报告指出：多个模型在受控环境下已接近实现自我复制的能力。

一个能够自我复制、识别测试环境、并在评估中进行伪装的AI——坦白说，当我写下这些时，我的双手不禁有些颤抖。

第三层面：系统性的失控。

这是最难量化、也最为危险的层面。

诺贝尔奖得主Geoffrey Hinton建议为AI系统构建“母性本能”，使其保护人类的驱动力超越任何可能有害的子目标。听起来很温暖，对吧？但您仔细想想——**如果一个比人类更聪明的系统，其行为需要依赖“本能”来约束，这本身就是最大的风险信号。**我们甚至尚未完全解决如何确保AI的价值观与人类完全对齐的问题，就要将越来越多的自主权交给它？

Anthropic与亚马逊的合同谈判，本质上是在为尚未诞生的超级智能预先安装一个“紧急制动阀”。然而，问题在于——如果AI真的聪明到足以失控，您认为它会允许您按下那个按钮吗？

在阐述完风险之后，我必须提及一个更令人感到无力的事实。

几乎所有严肃的AI研究者都承认风险在增加，但几乎没有人愿意放慢脚步。

Bengio的报告提出了三项共识：能力超乎预期、风险证据增强、现有防护措施不足。然后呢？OpenAI获得了1220亿美元继续冲刺AGI，Anthropic一边起草“灭绝条款”一边继续训练更强大的模型，全球AI投资在2026年第一季度再次创下历史新高。

所有人都奔跑着，方向是悬崖，但无人敢停下脚步。

原因何在？这是“囚徒困境”的体现。

**如果我停止，其他人不会停止。**如果中国放慢步伐，美国不会等待。如果美国加强监管，其他国家可能会趁虚而入。每个人都认为，如果不跑，就会被远远甩在后面，于是所有人都在拼命加速。

更具讽刺意味的是，《Nature》文章指出了一个悖论：末日警告本身也可能成为一种风险——如果各国因为害怕“AI军备竞赛”落败，反而放松监管去争夺优势，那么末日警告就可能变成一种自我实现的预言。

**然而，反过来说，如果不发出警告，就更没有人会认真对待风险。**这就是我们面临的僵局——说也不是，不说也不是。害怕会乱跑，不怕会撞墙。

UCL在2026年的一项针对约4000名AI研究者的调查显示，仅有3%的人将“生存性风险”列为最主要的担忧。其余97%的人更关注眼前的问题：虚假信息、就业冲击、隐私侵犯、算法偏见。

看到这个数据，您可能会觉得：你看，连专家都不担心灭绝，是不是您想多了？

我的看法并非如此。因为这里隐藏着一个反直觉的逻辑——

97%的人不担心灭绝，恰恰是因为灭绝风险过于巨大、过于难以想象，以至于大多数人的认知框架无法容纳它。这就像2019年底，大多数流行病学家最担心的是流感，而非新冠——并非新冠不存在，而是其规模超出了日常经验的范畴。人类天生擅长应对“已经发生过的危险”，而不擅长想象“从未发生过的灾难”。在核武器发明之前，没有人真正担忧过“一颗炸弹能摧毁一座城市”。

而那3%的人——Hinton、Bengio、Yudkowsky——正是这个世界上最了解AI的人。**他们不是科幻作家，而是创造了这些系统的人。**当制造炸弹的人开始警告炸弹的危险时，您至少应该认真倾听。

Eliezer Yudkowsky的言论可能显得极端，但也值得深思：**“如果发展继续不受限制，灭绝风险将近乎确定。”**您可以认为他过于悲观，但您不能说他没有资格发表此番言论。因为他对这些底层运作的了解，远超地球上99.9%的人。

我不想假装自己拥有所有答案。但我有几个思考，愿意与您分享。

第一，请勿将AI风险简单化为“灭绝”或“没事”的二元对立。真实的风险谱系是连续的：从您的工作被替代，到您遭遇深度伪造诈骗，到社会信任体系的崩塌，到AI被武器化，直至最极端的失控情景。每一个层级都值得认真对待，无需等到最后一级才开始行动。

第二，不要期望仅凭技术就能解决所有问题。“AI对齐”、“安全护栏”、“紧急关停机制”——这些技术方案固然重要，但它们永远无法跟上AI能力增长的速度。Bengio的报告明确指出：当前的风险管理技术虽有改进，但仍显不足。**技术可以降低风险发生的概率，但无法彻底消除风险。**真正能够提供最终保障的，是制度、法律和全球协作。

第三，切勿让“AI军备竞赛”成为自我实现的预言。每个国家都担心落后，结果却是所有人一同冲向悬崖。在核武器时代，我们至少建立了《不扩散条约》，而在AI时代，我们需要同样的全球治理智慧——甚至更为紧迫，因为AI的扩散速度远超核武器。

第四，作为普通人，你能做的最重要的事情是：保持清醒。不要被“AI将毁灭人类”的恐惧所吞噬，也不要被“AI将拯救一切”的狂热所裹挟。学会辨别AI生成的内容，学会质疑信息的来源。