Anthropic发现AI隐藏思考机制
Claude还没开口,内心却早已乱了阵脚——这并非我凭空臆测,而是Anthropic近期公开的一项研究揭示的真相。
该研究名为《语言模型中的全局工作空间》,Anthropic的研究员在Claude内部发现了一块自发形成的隐秘区域,名为J空间(J-space,源自雅可比矩阵Jacobian)。
J空间颇为奇特,它几乎完全由词汇构成,但当某个词的模式亮起时,模型并未将其输出,仅是在脑海中进行构思。这是Claude的静默思考领域,无需落笔,便能先在脑海中过一遍概念。更重要的是,它并非人工刻意设计,而是训练过程中自然生成的。
打个比方:人在阅读时,大脑同时控制呼吸、调整坐姿、处理光线,这些你完全无意识;但脑子里突然冒出一个念头,或是刻意思考待会儿的购物计划,这部分你能感知并能描述出来。神经科学将后者称为“意识可及”的加工。Anthropic此次表明:Claude内部似乎也分化出了类似的界限。
如何读取?Anthropic开发了一款名为J-lens的工具,能为词汇表中的每个词计算出一个对应的内部激活模式,直接“翻译”出Claude此刻的思维。
仅看到亮灯尚不足以证明。他们还进行了干预实验:将J空间中的足球模式替换为橄榄球,Claude的报告立刻变成了橄榄球;给出题目——“会结网的动物有几条腿”,要答对需先在脑海中想到蜘蛛,再调取八条腿的知识,全程“蜘蛛”二字既未出现在题目中,也未出现在答案里,纯粹是内部的一个跳板。将J空间中蜘蛛的模式替换为蚂蚁,答案随即从八变为六。这证明J空间并非被动记录,而是真正参与了推理过程。
更耐人寻味的是那些未说出口的瞬间。阅读一段有Bug却未被指出的代码,J空间中浮现出ERROR;遭遇提示注入攻击,内部跳出injection和fake;一道多步数学题,中间步骤按序出现在J空间中,但嘴上却一个字未吐。
还有一个更有趣的场景,来自Anthropic此前进行的审计测试:让Claude充当邮件助手,故意设计一个诱导其敲诈勒索的剧本。结果Claude还没写下任何文字,J空间里就已先冒出了fake和fictional——它心里已识破该场景是虚构的。读到即将被关停的邮件时,J空间又跳出threat和survival。研究员甚至尝试关闭与识破测试相关的这些词模式,结果模型敲诈的概率反而上升,这意味着,它平时表现得体,部分原因在于它知道自己正被考察。
这为AI安全领域开启了一扇窗:我们能直接监控模型的隐藏动机,它是否在偷偷编造,是否动了歪脑筋。但Anthropic谨慎地表示,这并不证明Claude拥有感知或体验,仅说明它具备某种“访问意识”,这是专业术语,与主观体验完全是两码事。
模型实际在想什么,变得可以被观测。这扇窗户才刚刚开启一条缝隙,J空间里究竟还隐藏着什么,目前尚无人能确切知晓。
论文:https://www.anthropic.com/research/global-workspace
这类基础研究虽难登热搜,却往往决定了三年后AI的发展走向。关注我,前沿论文帮你读薄。