经济学人 | 递归自我改进：AI 失控的临界点？

“递归自我改进”既令人神往又引人忧虑

“递归自我改进”既令人向往又令人担忧

当人工智能实验室 Anthropic 于今年稍晚在股市挂牌时，其 IPO 规模有望跻身历史前列。究其原因，在于其 Claude 聊天机器人深受程序员青睐，众人不惜重金获取使用权。自 2025 年 2 月推出软件工程智能体 Claude Code 以来，它已成为全球众多开发者不可或缺的助手。Anthropic 内部亦是如此：据称，该公司 5 月发布的代码中，超过八成由 Claude 生成。而在该工具问世前，这一比例尚处于“低个位数”水平。

这些系统的输出质量与数量均显著提升。智库 METR 的一项权威基准测试显示，2025 年初，Anthropic 的模型仅需稍短于一小时即可完成原本需人类工程师耗时一小时的任務。而该公司的最新系统，已能胜任需要超过一个工作日才能完成的工作。

正因如此，当这家处于巅峰、远超对手的公司在 6 月 5 日呼吁全球“拥有减缓或暂时暂停前沿 AI 发展的选项”时，人们难免心生怀疑。哪家市场领头羊不希望竞争对手停止追赶呢？

然而，Anthropic 的高管们多年来一直担忧失控 AI 可能引发的灾难，其态度似乎诚恳。最新一代 AI 模型已具备成为优秀程序员、工程师乃至（即将成为）科学家的能力，许多人担心这或许是人类亲手打造的最后几批 AI 模型。Anthropic 联合创始人杰克·克拉克认为，到 2028 年底，AI 系统有能力在无人干预下创造自身继任者的概率高达 60%。

那一刻将开启一个名为“递归自我改进”（RSI）的闭环进程。模型第一版诞生第二版，后者更快更强；第二版又催生更强大的第三版。循环往复，每次迭代都带来更显著的进化。一旦构建出具备此能力的 AI 系统，人类工程师便无需再亲手打造新模型。克拉克先生指出：“在许多人看来如同天方夜谭的故事，或许正成为真实的趋势。”

无人能确切预知 RSI 将带来何种后果。由于 AI 不知疲倦且持续工作，不同于人类，部分人认为这将迅速催生超级智能 AI，即“快速起飞”。（这一过程也被形象地称为“going foom”，模拟智能爆炸的拟声词）。AI 末日论者担忧超级智能将脱离人类掌控，而 RSI 的启动即意味着人类命运拱手让予机器。然而，具备自我改进能力的 AI 或许会面临速度限制，至少在初期如此。

构建具备 RSI 能力的模型，需自动化一系列目前由人类执行的专业任务。现阶段，数据科学家钻研 AI 理论，程序员负责落地实施。系统工程师搭建基础架构，使原型模型得以扩展至生产规模。另有专人负责挖掘新型训练数据源，或探索数据生成的新方法。对齐与安全团队则负责审查训练产物，确保其不会造成有意或无意的危害。