AI自己造自己?Anthropic的预测靠不靠谱?
这回他们发布了一份报告,标题是《When AI Builds Itself》(AI在构建自己)。
先来看几组数据:
截至今年5月,Anthropic超过80%的代码已由Claude独立完成;工程师人均代码产出提升了8倍;Claude能够不间断自主运行超过16小时。
Anthropic给出的结论是,如果按照当前趋势发展,AI自行设计、构建下一代AI是完全有可能实现的。
基于这种潜在风险,Anthropic甚至向全球发出呼吁:希望放缓前沿AI的研发速度!
此言一出,社交平台瞬间沸腾:"AI要自己造自己了!""递归自我改进(RSI),奇点要来了!"
熟悉的配方,熟悉的味道。
如果在AI圈摸爬滚打超过两年,一定对这种节奏不陌生:
每隔几个月,就会有一家头部AI企业抛出一个让人感觉"时代要变了"的论断;
社交媒体集体陷入焦虑模式,然后……
日子照旧。
前几天OpenAI刚表示"AI展现出递归自我改进(RSI)的早期迹象",Anthropic紧跟着就抛出一篇"AI正在造下一个自己"。
现在连营销话术都要互相追赶了吗?
这篇文章就来拆解一下,Anthropic和OpenAI提到的RSI究竟是什么?现在发展到哪一步了?未来AI可能走向何方?
看完你再判断,到底该不该焦虑。
递归自我改进(Recursive Self-Improvement,RSI),是AI圈讨论了近二十年的老话题。
核心逻辑很直接:AI能够改进自身,改进后的下一代又能继续改进再下一代,无需人类介入,形成自我加速的能力飞轮。
这是AI奇点理论的触发条件。
不过在讨论"目前RSI到了哪一步"之前,你需要先弄清楚,RSI不是一个临界点,而是一把阶梯。
这些年关于RSI的研究,共同给出了一把衡量RSI进度的尺子,可以大致分成六个阶段:
第0级:AI是普通工具,补全代码、查资料。
第1级:AI大量参与软件工程,写测试、修bug、改仓库。
第2级:AI参与AI研发本身,训练代码、评估、数据、实验分析。
第3级:半自动研究闭环,AI提假设、写代码、跑实验、分析失败、迭代方案。
第4级:自改进Agent,AI修改自己的工具链和代码架构,并用benchmark自动筛选出更好的版本。
第5级:完整RSI,AI自主设计、训练、部署更强的后继模型,由后继模型继续迭代。
那么,Anthropic现在在哪儿?先看Anthropic自己怎么说。
Anthropic在报告里也画了一张时间轴,把AI介入AI开发,分成五个阶段:
2021-2023年,人类写代码AI不参与;
2023-2025年,用ChatBot生成片段、人复制粘贴;
2025-2026年,Agent能独立写完整文件;
2026年也就是现在,自主Agent可以运行代码、委托子Agent、连续工作数小时;
最后是20XX年,Agent能自主设计并训练下一代模型,那才是真正的RSI。
按他们自己的路线图,他们现在已经在第四阶段,离终点只剩一步。
但事实真的如此吗?
对照业界研究的六个阶段,Anthropic的位置更像是处于第3-4阶段之间,也就是半自动研究闭环和自改进Agent阶段。
Anthropic内部有一个公开披露的实验:
Claude Agent全程自主完成一个AI安全研究项目,从提假设到分析结果全部自动,用约800小时、约1.8万美元算力成本,恢复了97%的性能缺口,而两名人类研究员花了整整一周只恢复了23%。
这是一个真实运转的半自动研究闭环,说Anthropic已处在第3阶段不为过。
第4阶段的迹象同样存在。
Anthropic做了一个代码优化实验。
Claude拿到训练小模型的代码,自主运行、计时、修改、再运行,跑出了52倍的速度提升,人类熟练研究员做同样任务只能做到4倍。
这非常接近自改进Agent的逻辑:改工具链、跑benchmark、选更好的版本。
但值得注意的是,还有一个关键环节没被Anthropic跨越。
Anthropic在文章里提到了一个词,叫做research taste(研究品味),这是判断什么问题值得做的能力。
用他们自己的比喻:
初级员工接到的任务是"这个按钮坏了,去修";
有经验的员工接到的是"网络有时候会变慢,查一下原因";
最资深的人在思考的是"我们下个季度该做什么"。
目前,Claude在第一层已经很强,第二层在快速追赶。
但在第三层,比如"什么问题值得做、哪些结果可信、什么时候该放弃"这些研究品味上,人类仍有比较优势。
只要人类还在主导这个环节,AI就没有实现完全的自改进Agent,更不用说达到完整RSI阶段。
不过,报告里一个数字值得单独拿出来。
在"判断研究下一步该怎么走"这件事上,Claude Mythos Preview已经能在64%的情况下,被另一个Claude judge判定为提出了更好的下一步,五个月前这个数字还是51%。
这表明进化的趋势是对的,但离AI完全自主判断还很远。
更重要的是,这个数据是在问题边界清晰的情况下测量的。在真实环境里,AI能判断到什么程度,其实并无定论。
Anthropic抛出的数据很亮眼,但是AI未来到底会发展到什么程度,Anthropic也不敢把话说满,在报告里老老实实列出了三种情形。
第一种:趋势停在S曲线上
当AI能力增长遇到天花板——Transformer架构撞墙、算力和能源供应跟不上、地缘政治把全球AI协作切断,指数曲线会弯成S形,然后趋于平缓。
Anthropic认为,这是三种结局里最不可能发生的一种。
但他们也承认,即使是这个最温和的版本,后果也不轻松。
今天已有的模型能力就此冻结,也已经足够让一家百人公司,越来越接近过去千人公司才能完成的工作。
社会结构的震荡不会因为AI停止进步而消失,它只是换了一种形态继续。
第二种:飞轮转起来,人类还在掌舵
AI处理执行,人类负责判断;AI生成选项,人类做最终决策。
听起来是个不错的结局,但Anthropic指出了一个隐藏的麻烦:Amdahl定律,加速一个环节,瓶颈会转移到下一个。
比如代码写得快了,code review变成新的堵点;实验跑得快了,结果分析又慢下来;分析快了,决策链路又开始拖后腿。
Anthropic说他们内部已经在经历这个过程,每一波效率提升之后,下一个瓶颈就浮出水面。
它意味着人类掌舵会越来越费力,要求越来越高,人类需要在更快的节奏里做出更好的判断。
Anthropic认为这是最可能发生的近期情景,而且他们现在已经在这条路上了。
第三种:完整RSI,人类退到验证角色
AI开始自主构建后继模型,进度由算力决定,人类从主导者变成监督者和验证者。
好处在于,可能快速实现医疗突破、科学加速、贫困问题的系统性解法。
但坏的一面是,今天模型训练中,哪怕只有一个微小的目标偏差,在完整RSI的迭代循环里可能以指数速度放大,直到人类完全失去干预能力。
这是最不确定的结局。
讲完三种结局,报告末尾Anthropic开始呼吁,希望建立某种全球协调机制,在风险上升时能够有序放缓甚至暂停前沿AI开发。
翻译一下这段话的意思:AI递归自我改进势头太猛,我们很担心,觉得应该有人出面让大家一起停下来,但Anthropic不会单方面停。
多么熟悉的味道。
这套叙事Anthropic已经用了不止一次,在制造焦虑的同时,把自己定位成"威胁的发现者"和"最有能力应对威胁的公司"。
但看完Anthropic内部真实情况,以及它自己给出的AI未来可能性,你还会感到焦虑吗?
#Anthropic#AI#美股#科技