AI 时代最致命的错觉，往往出在管理层

导语｜企业已懂得应对模型幻觉，却还没学会警惕自己对 AI 实力的高估。前者产出错误答案，后者塑造错误组织。

AI 会出现幻觉，这早已不是新鲜事。整个行业围绕此搭建了诸多防线：检索增强、评估体系、规则限制、人工核验、工具调用、交叉印证。人们清楚模型会出错，因而会提防模型。

真正棘手的是另一种幻觉——它不源于模型，而滋生在会议室：决策者把 AI 表现出的能力，等同于组织已具备的能力。

一个 Demo 走通，项目就被认为接近交付；一个 Agent 连续运转数十次无误，有人便畅想无人化；一个模型准确率触及 95%，有人开始盘算能裁减多少职位；一名工程师借助 AI 三天完成原先三周的任务，于是整个研发周期被要求按相同比例压缩。

这些判断未必有误，问题在于它们来得过早。技术仅证实了"某件事可能发生"，经营体系却已按"它能稳定发生"重新调配预算、人力与流程。

更隐蔽的是，人对 AI 的误判永远不会被归档为"失误"。它会被冠以战略眼光、效率指标、组织进化、降本增效、数字化转型之名。一旦融入管理体系，它产出的就不再是一条错误答复，而是预算削减、交付节奏、人员编制、销售承诺，最终重塑一家公司的实际面貌。

模型幻觉产出错误信息，管理幻觉产出错误组织。

下文将解析这种幻觉在企业中最常见的六种面貌。

过去开发复杂软件，早期阶段往往相当粗糙：页面未成形，流程走不通，数据为模拟数据。管理者很容易察觉离生产环境尚远——粗糙本身即是一种坦诚的进度反馈。

AI 抹去了这个信号。当下一个小团队，甚至一个人，几天内就能拼出一套极具迷惑性的系统：它能对话、能调用工具、能产出报告、能操作数据库、能操控浏览器、能跑通完整工作流。在会议室里，它几乎不出错。

AI 让"能力初现"与"系统成熟"，首次在感官上难以分辨。

于是组织极易跳过中间最艰难的环节：可靠性、异常处置、权限边界、数据污染、成本波动、模型衰退、上下文漂移、安全、审计、追责与恢复机制。

Demo 之所以光鲜，是因为它仅演示 happy path。而真实世界从不按 happy path 运转——输入残缺、数据过期、接口失效、第三方服务中断、用户行为异常、权限冲突、规则彼此矛盾。工程的价值，绝大部分恰恰存活于 happy path 之外。

因此 AI 时代最常见的误判是：因为首版产出极快，便以为最后一公里也缩短了。事实往往相悖。第一公里被压缩之后，最后一公里才首次真正浮出水面。

管理层偏爱数字，准确率尤其令人踏实。90%、95%、98%、99%，越逼近 100，越像在逼近可靠。

但商业系统真正要追问的不是"它平均多准确"，而是——

它错的时候，错在何处？

一套整理会议纪要的 AI，95% 已堪称卓越；一套掌控付款的 AI，95% 完全无法接受。同一概率，在不同场景中的商业含义天差地别。因为企业承担的从不是平均错误率，而是错误后果。

频次同样会改写性质。99.9% 听上去很高，但在一百万次操作中意味着千次异常。倘若其中任何一次能直接改动资金、数据、权限或物理设备状态，99.9% 便不再是安全数字，而是一个危险数字。

所以 AI 的风险管理不能停留在传统软件可用性思维上。真正该列入评审清单的是四个问题：错误能否被察觉？能否在执行前被拦下？发生后能否回滚？最坏情形是什么，由谁兜底？

这些问题的答案，比 benchmark 再攀升两个百分点关键得多。

AI 最抢眼的能力是速度：代码、文档、设计、分析、方案，都产出得更迅疾。于是一个顺理成章的推论诞生——既然工作提速了，组织理应整体提速。

这一推论遗漏了一个基本事实：企业的运转速度从不单由生产速度决定，它同时受制于判断、协调、审批、验证、责任与市场反馈。

AI 可一分钟产出十套方案，但企业仍必须抉择哪一套值得承担后果。AI 可一天写完过去一月的代码，但系统上线后出事故，排查与修复的时间不会因此缩减。AI 可让公司每日倾泻一万条内容，但消费者的注意力并未多出一分钟。

AI 削减的是生产摩擦，不是决策责任。

稀缺资源正在迁移。过去企业匮乏的是生产能力，未来企业愈发匮乏的是高质量判断。这会催生一个看似吊诡的现象：工具越来越多，产出越来越快，管理成本反而攀升——因为十倍的方案、代码与建议，同时意味着十倍需要被筛选、验证和担责的对象。

若管理体系没有同步进化，AI 越强，组织制造噪音的能力也越强。

"无人化"是 AI 商业叙事里最诱人的词：同等的收入，更少的人，更低的人力开支。

这确实有望成真。但当下多数所谓的无人化，实际做的却是另一件事——把简易任务从人的工作中剥离，留下最棘手的部分。

客服是最典型的案例。AI 可承接查订单、改地址、查物流、阐释基础规则，人工坐席数量确实会缩减。但最终流向人工的，会越来越集中于投诉、争议、欺诈、赔偿、跨系统故障，以及高价值客户的复杂情绪。问题总量下降了，每个问题的责任密度却上升了。

工程师同样如此。模板代码、接口封装、测试与文档可被自动生成，人真正要应对的逐渐变成架构决策、复杂并发、系统边界、故障恢复、安全与数据一致性。留下来的不是"剩余的 20%"，而可能是过去全部工作中最艰难的 20%。

最容易被自动化的部分，往往也是最廉价的部分。

因此，用"AI 自动化了多少任务"直接推导"应当减少多少人"，等于把任务数量等同于人力价值。现实并不呈线性。

单次模型调用或许只需几分钱，一条 Agent 工作流几毛钱。从财务模型看，AI 的边际成本低得惊人。

但企业真正的 AI 成本不在 Token，而在错误。一份错误摘要几无后果；一条错误投放浪费预算；一份错误合同酿造法律风险；一次错误的数据库操作导致数据损坏；一笔错误付款是直接的资金损失；一个错误的工业控制动作，会渗入物理世界。

当 AI 从"生成信息"迈向"执行动作"，需要计入财务模型的变量就变了：

不是 Cost per Token，而是 Cost of Wrong Action。

配套的问题也随之改变：单次错误行动的代价是多少？错误是否可逆？能否在执行前被拦截？哪些动作必须人工确认？哪些边界在任何情形下都不可逾越？

许多公司今天仍将 AI 视作一种更廉价的软件能力。但当它具备行动能力，它实际上已蜕变为风险基础设施——两者需要截然不同的管理方式。

能力欠缺的系统通常不会酿成最大风险，因为无人会信赖它。准确率仅 60% 的 AI，没人敢让它经手关键资金；经常胡言乱语的 Agent，也拿不到生产权限。

真正棘手的阶段，是 AI 已很好用：连续数月无显著故障，覆盖绝大多数任务，员工开始倚赖，管理层开始信任，流程开始围绕它设计，人工检查渐次减少。

可靠性会转化为信任，而信任会转化为权限。

这是所有高风险系统共通的规律：一个系统表现得越稳定，人越容易撤除原本用于防范异常的机制——直至那个极低概率的事件降临。

所以 AI 治理真正要攻克的，几乎不可能是"如何让模型永不犯错"，而是"如何确保模型犯错时，错误无法无限扩散"。这要求三重隔离：能力与权力隔离，生成与执行隔离，判断与最终授权隔离。

这并非因为 AI 不可信，恰恰是因为 AI 会越来越可信。历史上真正凶险的系统，往往不是不可靠的系统，而是可靠到让所有人卸下防备的系统。

过去两年，企业问得最多的是：AI 能做什么？这是一个能力问题。接下来更重要的问题会变成：AI 可以做到哪一步？这是一个边界问题。

两者貌似接近，代表的却是截然不同的管理哲学。前者持续推动权限扩张，后者迫使组织重塑责任架构。

真正成熟的 AI 企业，不会追求赋予 AI 无限自主权，而会做相反的事：让能力尽可能强，同时让边界尽可能清晰。允许它分析、规划、调用工具、自动执行，但关键动作必须有独立验证，高风险结果必须有最终约束，系统必须知道何时停止，异常必须能被阻断，执行必须可追溯，责任必须有归属。

成熟的自动化不是"没有人"，而是不再需要人盯着正常流程，但必须有人界定异常发生时系统不可逾越的边界。

回到开篇。管理幻觉的本质，是一种提前兑付：技术刚证明"可能"，经营系统已把它记作"确定"，犹如把尚未产生的收益提前计入利润表。而现实终会来结算这笔账——工程复杂度不会因 Demo 漂亮而消弭，责任不会因自动化而消弭，尾部风险不会因平均准确率高而消弭，物理世界也不会因模型进步而降低错误代价。

模型幻觉通常只波及一个答案，可用技术修复；管理幻觉一旦渗入组织，会左右资源、流程、人员与战略，往往要等现实付出代价之后才被纠正。

真正成熟的企业，最终不会用"用了多少 AI"来证明自身先进。它们会参透一个更困难的问题：

技术能力可以指数增长，商业确定性只能一点一点被证实。