Anthropic发出警示：AI发展或需按下暂停键

美国人工智能新锐企业Anthropic于周四发表公开信，敦促全球顶尖实验室暂停或放缓前沿AI的研发进程。

当AI开始自主创造AI

文章开篇指出，长期以来，人类一直掌控着AI开发全流程的每一个环节。然而在Anthropic内部，员工正逐步将越来越多的AI开发任务交付给AI系统本身，并持续加速推进。若这一趋势持续演进，并获得充足的算力支撑，AI系统终将具备完全独立地设计和迭代自身后续版本的能力。

Anthropic表示：“我们尚未抵达这一临界点，递归式自我优化也并非必然发生，但其到来的时间可能早于大多数机构的预期准备。”

Anthropic通过大量案例与数据支撑这一观点。比如，当前Anthropic工程师平均每季度交付的代码量已达2021至2025年间的8倍。AI模型能够独立可靠完成的工作周期大约每四个月翻一番，此前的增速是每七个月翻一番。

截至2026年5月，Anthropic代码库中超过80%的代码由Claude产出。在最具挑战性的开放式任务场景中，Claude在2026年5月的成功率已达76%，在短短6个月内跃升了50个百分点。

文章指出，无论在工程还是研究领域，Claude都已能够与资深人类从业者比肩，甚至有所超越。人类仅需设定目标，Claude即可自主分析问题并寻求解决方案。

不过Anthropic也坦承，在工程与研究领域，Claude在目标选择的判断力方面仍与人类存在显著差距。这恰恰是当前AI与未来能够自主设计后续系统的AI之间的核心差距所在。

若持续演进将会怎样？Anthropic指出，一种可能性是，未来AI开发将高度自动化，使用AI系统的组织将实现效率大幅提升，“百人企业即可完成万人乃至十万人规模组织的全部工作”，这将从根本上重塑知识劳动和行政服务的形态，但同时也可能被滥用于不良目的。

若技术进步的趋势延续，AI系统或将实现自我设计与优化。在那样的世界里，AI发展的速度将完全取决于算力资源，人类的影响力将大幅削弱。

然而最大的不确定性在于价值对齐问题。“当前模型中罕见的偏差，可能随着模型构建后续版本而逐步放大，发生频率不断攀升，但人们对它的理解却日益减少，直至人类彻底丧失对其的控制能力。”

Anthropic：必要时，叫停AI研究

Anthropic发出警告，当前AI技术迭代过于迅速，短期内可能就会出现脱离人为干预、自主优化升级的能力，由此或将引发难以预见的重大社会风险。当前经济由人类驱动，而未来或将被AI主导，若人类劳动力丧失竞争优势，经济的未来形态将难以预测。

文章中Anthropic认为，具备自主迭代能力的AI，是人类科技史上里程碑式的突破，能在生物医药、前沿科研等领域带来巨大裨益，但也可能使对齐问题进一步恶化，最终导致失控。Anthropic在文末建议全球选择放缓或暂时中止前沿人工智能的发展，为社会结构完善和价值对齐研究争取追赶技术进步的时间。

Anthropic宣称，为给社会和对齐研究（确保AI与人类价值观、意图保持一致的研究）留出必要缓冲期，其倡导建立一项类似“核武器协议”的全球性框架，以约束AI研发节奏，并配套核查机制，确保各竞争方履约。

文章进一步指出，核查AI训练情况并非易事，“AI训练项目远比导弹发射井更难被监测。当其他人暂停时，谁继续前进谁就可能占据优势。”

是否应该暂停研究

Anthropic表示，未来数月，公司计划邀请各国政策制定者、科研从业者，围绕递归自主进化技术、全球核验机制展开深入研讨。文章称，“共同探讨这些问题的窗口已经开启，AI公司之外的人士也应参与到这场讨论中来。”

这一议题极具探讨价值，但问题在于，Anthropic发布文章的时机颇为微妙。

6月1日，Anthropic发布声明称，已向美国证券交易委员会秘密提交S-1草案，正式启动IPO。就在5月28日，Anthropic刚宣布完成高达650亿美元的H轮融资，企业估值达到9650亿美元，超越了竞争对手OpenAI。

在此背景下，网友的态度分成了鲜明两派。有人认可AI的能力确实进步显著，也有网友认为Anthropic这篇文章是为融资而进行的营销和焦虑制造，“如同披着薄纱的自我夸耀式营销，为天文数字般的估值辩解”。

有程序员肯定了文章内容，认为“比我们预想的更快”才是文章真正的信号，他认为Anthropic一直是对时间线预估最保守的实验室，当他们发出这样的警示时，分量比其他实验室要重得多。“对于实际使用这些模型交付产品的开发者来说，仅今年在生产环境中看到的Claude版本之间的能力飞跃，就已经足够惊人了。”

在Anthropic发布的帖子下，也有网友质疑，“告诉所有人AI能造出更好的AI，这堪称有史以来写得最精妙的融资演示文稿，最佳营销奖非你莫属。”OpenAI也一直在发布类似的帖子，究竟是真的“奇点即将来临”还是仅为IPO而炒作？这很难判断。

从技术层面看，也有开发者质疑，目前Claude编写的代码与人类程序员仍存在差距。此外，递归自我改进意味着奇点，但80%的自我改进与100%相差的并非20%，而是20倍的能力差距。且文章并未提及自我迭代中最为关键的理解能力，作为自动化工具，减少重复性劳动这一点并不令人惊讶。

据悉，Anthropic这家公司已多次发布AI风险的预警。就在5月，Anthropic联合创始人杰克·克拉克发帖称，到2028年底，递归自我改进发生的概率有60%。当时业界就有网友质疑，按当前发展进度，AI是否真的能在2027年底前后出现一次突然的重大突破。

你认为AI发展已经到了需要踩刹车的时候了吗？

评论区聊聊~