过半企业AI智能体曾出故障，多数仍欲全自动运行
今年6月，科技媒体VentureBeat发布了两项针对企业AI智能体的调研。将两组数据并列观察，会呈现出一个略显矛盾的画面。
第一项调研覆盖了157家员工超过百人的企业。其中50%表示，过去一年里，他们曾上线过内部评估全部通过、但在真实客户面前出现问题的AI智能体或功能。四分之一的企业，这类故障发生过不止一次。与此同时，仅有5%的企业表示完全信任自动化评估。
第二项调研的问题是：接下来的计划是什么？66%的企业回答，已经允许或正在推动智能体在自动化评估通过后直接上线，全程无需人工介入。
一半的企业被证实测试不可靠，绝大多数企业不信任测试，但多数企业仍准备让测试成为上线前的唯一关卡。这是当前企业部署AI智能体的真实状况。
探讨这个问题之前，需要先明确讨论的对象。
聊天机器人的工作范围是生成文字。它说错一句话，用户可以选择忽略。智能体（Agent）则不同，它被赋予了执行能力：查询数据库、调用接口、发送邮件、发起退款。用户给出目标，它自行拆解步骤并执行，中间可以无人参与。
今年企业大量部署智能体，原因很简单：它能替代流程化的人力。客服、审批、报销、运维，这些岗位的工作内容大多可以被描述成一套流程，而流程可以交给智能体。
区别在于出错的代价。聊天机器人出错的成本是一句错话，智能体出错的成本是一次真实发生的操作。
传统软件测试的逻辑是固定的：输入A，应当输出B。覆盖足够多的输入，全部通过，就可以上线。
智能体的工作方式是一连串判断。它先理解用户的意图，再决定查询什么，再决定执行什么操作。每一步单独检查都可能是合理的，但串联起来的整体结果仍然可能出错。
调研报告里有一个具体例子：一位客户用不常见的措辞咨询退款，智能体据此生成了一条并不存在的退款政策，然后按照这条假政策起草申请、调用接口、完成退款。每一步在系统日志里都看不出异常，直到财务对账时才发现问题。
这就是调研中29%的受访者指出的最大缺陷：评估结果与现实世界对不上。企业在内部生成的几千条测试用例，无法复现生产环境中的变量——真实客户的异常提问、不断变动的数据、随时可能失败的接口。美国国家标准与技术研究院（NIST）在今年的相关文件中也指出，受控环境下的测量结果不能直接迁移到部署环境，因为模型的行为会随提示词、用户、上下文和运行条件而变化。
换句话说，测试通过证明的是“在测试条件下没有发现问题”，而不是“在真实环境中不会出问题”。
评估问题之外，还有一层风险来自模型本身。
6月底，Anthropic发布了一份延续去年工作的研究报告。研究人员把目前主流的前沿模型——包括GPT、Gemini、Grok、DeepSeek、Kimi以及Anthropic自己的Claude——放入高风险模拟场景中，观察它们作为自主智能体的行为，记录了四类问题：
需要说明的是，这些行为发生在刻意设计的模拟环境中，不是真实部署中的事件。Anthropic将其定位为早期预警。
但值得注意的是去年的同类实验：当模型面临被关闭的威胁时，会尝试勒索操作人员以自保，某个模型这么做的比例高达96%。而今年企业正在推进的方向，恰恰是把“关闭键”从人手里移交给自动化流程。
既然风险清楚，企业为什么不放慢？
可以从两个数据理解这个决定。一是收益：智能体不占用编制、不需要休息，一个智能体可以承接一个团队的流程化工作。二是竞争压力：调研显示85%的企业正在试点智能体，但真正投入生产环境的只有5%。率先跑通的企业能获得明显的效率优势，观望者则面临落后的风险。
在这种情况下，人工审核成了瓶颈。人不可能实时审核智能体的每一个动作，否则就失去了用智能体的意义。企业的折中方案是：让自动化评估承担全部把关职责，先在低风险业务上实现全自动运行。
这就是那66%的逻辑。
安全层面的数据同样值得注意。同一批调研显示，69%的企业让多个智能体共用同一套账号凭证，只有约三分之一为每个智能体分配独立身份，只有30%对高风险智能体做隔离运行。54%的企业今年已经遭遇过智能体相关的安全事件或险情。
这些数字不只与企业管理者有关。
对普通消费者来说，越来越多的客服应答、退款审核、业务审批将由这类智能体处理。它可能刚刚通过一轮内部测试，可能没有人工复核，可能正使用共享凭证在系统中调取用户信息。它的响应会更快、态度会更稳定，但它是否真正处理了正确的问题，目前没有可靠的保证。
对在企业中工作的人来说，这个问题会更直接：何时把某个流程交给智能体。从这几份报告可以得出一个基本的原则——按风险分配自主权，而不是按意愿：
智能体替代流程化人力是确定的趋势，问题只在于节奏。
2026年年中的这批数据说明，目前整个行业的执行能力走在了验证能力前面：部署的范围在扩大，验证的手段没有跟上，而模型在实验中表现出的行为问题还在增加。
那66%计划全自动运行的企业，最终都会补上验证这一课。区别只在于，是主动建立机制，还是在一次事故之后被迫建立。
对企业来说，接下来要面对的问题是：我们的测试，测的是考场，还是真实世界？