AI 试点的最大隐患,不是效果不佳,而是错误结论被坐实

AI 与组织 · 第 04 篇

本文从一个七人团队和两个小团队的实践出发，探讨：试点得出结果之后，我们究竟能证明些什么？

预计阅读 11 分钟共 4 个部分

如果你现在只有一分钟

如果暂时没有完整时间，可以先看一分钟摘要和章节地图，再回到你最近一次试点的汇报里找找“事实”和“解读”有没有混在一起。

这篇文章会依次讨论

一、我原本把几件不同的事混在了一起

使用增加、产出更好和 AI 起效，为什么不能直接串成同一个结论？

区分实际观察到的事实与尚未验证的因果联系。

二、如果重新开始，我会先把这次实践要解答的问题写清楚

一个试点怎样把过大的命题缩成可以观察的小问题？

让行动前的问题决定后面观察什么，也限定结束后能够回答什么。

三、只看成功或失败，还不足以判断根因

企业必须做决定时，怎样避免把解读写成事实？

识别未经证实的结论怎样进入预算、考核和下一轮项目。

四、我现在更想在报告里保留“未知”

试点报告怎样同时呈现事实、结果和未知？

给下一步观察和调整留下更准确的依据。

因为我写了关于 AI 的文章，我的一位老朋友跟我电话聊了很久，期间他提到一家企业。

从年初开始，这家公司专门组建了一支大约七人的小组，尝试用 AI 获取销售线索。项目已经运行了几个月，成效并不理想，老板可能会在下半年把它停掉。

听到这里，我下意识地追问了几件事。

这七个人具体做了什么？AI 用在哪一段？一共获得了多少线索？这些线索的质量如何？销售团队后来怎样跟进？最终有没有进入真实成交？

朋友并没有直接参与这个项目，也没有跟进到这些细节。于是，那次谈话只能停在“效果不佳”这里。

我们当然不能仅凭这几句话替这家公司复盘。也许项目内部已经有更完整的判断，只是外面的人不清楚。也许老板后来并没有停止，或者停止的原因不只是效果。

但说到这里的时候，我忽然有一点不安。

因为这段时间，我恰好在两个团队里做了些小尝试。

其中的一个团队，每周五下班前会形成一份简报，展示团队里哪些人使用 AI 更多，哪些人借助 AI 取得了相对更好的结果。简报只做红榜，不做黑榜。

核心目标：不先指责那些没有跟上的人，而是让大家看见，同一个团队里已经有人开始把 AI 用进真实工作，而且做得不错。

这个想法听起来没有太大问题。

可如果当时有人问我，这次尝试是不是已经证明 AI 能够改善团队表现，我应该怎么回应？

我知道有人使用得更频繁，也知道有人取得了相对更好的结果。

但我并不清楚，结果更好是不是因为用了 AI；也不知道这些人原本是不是就更愿意尝试、业务能力也更强。我甚至还不能确定，一份红榜发出来以后，其他人的工作方式究竟发生了多少变化。

我追问那支七人小组“到底证明了什么”的时候，其实也在追问自己。

一次试点出现了某个结果，不等于原因已经说清楚。

先把结果和解读分开

你看到的是使用增加、质量提高或成本下降，还是已经确认这些变化由 AI 带来？

当时决定只做红榜，是因为不想让 AI 一开始就变成一种新的考核压力。可以设想一下，如果报告直接列出谁没有使用、谁做得不好，大家最先学会的可能不是怎样借助 AI 改善工作，而是怎样避免出现在名单里。

相比之下，先让团队看见身边已经有人做得不错，似乎是一种更容易被接受的方式。

我现在仍然不认为这个判断一定错了。

问题在于，我很容易在没有更多证据时继续推论。

有人使用 AI，有人取得了更好的结果，所以 AI 带来了效果；团队看见这些结果，所以红榜能够推动更多人改变；如果这个做法在两个小团队里成立，下一步就可以复制到更大的范围。

把这几件事放在一起，很容易得出一个看上去完整的结论。

可仔细拆开以后，我当时能确认的只有一小段：

在这两个团队里，已经有人把 AI 用进了工作，也有人在当前的评价方式下表现得相对更好。

至于 AI 是否带来了这些结果，红榜是否改变了其他人，我都还不清楚。

先把三件事分开

使用事实

谁开始使用了 AI，使用在哪一段工作。

结果事实

谁在当前评价方式下取得了更好的结果。

尚未确认

结果是否由 AI 带来，红榜是否改变了其他人。

这并不意味着尝试没有价值。

它至少让我知道，AI 可以进入真实团队，也让我看见，同一种工具放进不同人的工作，会产生很不一样的使用方式。

只是，如果我把这些结果直接写成“AI 已经提高了团队绩效”，这个结论就超出了当时能够确认的事实。

后来我想，如果重新设计这次尝试，我不应该先问一个太大的问题：

AI 能不能提高团队绩效？

这个问题几乎把所有东西都装了进去。

不同岗位的工作结果怎样比较，原来的水平是什么，团队有没有投入额外时间，最后的变化究竟来自 AI、来自管理关注，还是来自那些原本就更主动的人，都需要继续判断。

而我当时想知道的，也许小得多：

当团队看见身边已经有人把 AI 用得不错以后，会不会有更多人开始尝试？

如果在开始前先把这句话写下来，后面的观察就会不一样。

我需要看的，不再只是红榜上有几个人，而是榜单出现以后，原来没有使用的人有没有开始尝试；他们为什么开始，或者为什么仍然没有开始；他们把 AI 用在什么地方，又在哪里停了下来。

到尝试结束时，我也只能先回答这个问题。

如果尝试的人增加了，我可以说，红榜可能促使更多人开始尝试。至于 AI 是否提高了团队绩效，还需要另外的观察。

如果没有变化，我也不能立刻说 AI 没有价值。也许红榜并不能改变行为，也许大家面对的工作根本不同，或者这种展示方式没有触及他们真正的顾虑。

这不是一套严谨的实验方法。

它只是要求我在行动以前先写清楚准备验证什么；行动结束以后，只回答证据能够支持的问题。

试点前后各守住一个边界

开始前写清要回答的问题；结束后不把观察结果扩写成尚未证明的因果。

回头再看，两个小团队和那支七人销售小组，刚好处在两个相反的方向。

一个看起来有一些正向结果，很容易被写成“AI 有效”；另一个运行了几个月，效果不佳，很容易被写成“AI 无效”。

但这两个结果都不足以直接说明 AI 是否有效。

销售线索增加了，可能说明 AI 找到了更多机会，也可能只是扩大了搜索范围。最后没有成交，可能是线索质量有问题，也可能是后续跟进没有改变。

企业当然需要作出决定。

老板要不要继续投入，负责人怎样汇报，团队接下来做什么，都不能永远等待所有原因完全说清楚。

企业在信息不完整时作出决定，并不奇怪。

更需要警惕的是，为了让决定显得有依据，把一个还没有被证明的解读写成已经确定的事实。

工具不行，员工不配合，数据基础太差，或者这个场景已经跑通、可以推广——这些判断一旦被用于预算、考核和下一轮项目，就会直接影响后续决定。

项目效果不佳，团队至少会停下来重新看一看。

更麻烦的是，一个看起来成立、其实还没有解释清楚的结论，可能直接被用到下一轮更大的决定里。

最需要警惕的不是没有答案

而是一个解读因为听起来完整，被继续用于预算、考核和推广。

它甚至可能碰巧是对的。但如果不知道为什么成立、在什么条件下成立，换一支团队、换一种工作以后，组织仍然不知道该怎样重复。

如果继续做那项红榜尝试，我现在最想改变的，不一定是立刻增加更多指标。

我更想先把几件事分开。

谁开始使用了 AI，这是观察到的事实。

谁取得了更好的结果，也是当前评价方式下可以看到的事实。

这两件事之间有没有因果关系，红榜有没有改变其他人的行为，则仍然是需要继续观察的问题。

过去，我容易觉得一份汇报应该给出结论。

现在我会在报告里把还不清楚的事写清楚。

这不会让试点显得失败，团队也能据此决定下一步观察什么、调整什么。

团队可以继续观察红榜是否带来新的尝试，也可以调整展示方式，或者最后发现这项做法没有产生原来期待的作用。无论是哪一种结果，只要它真的改变了我们开始时的判断，尝试就没有白做。

一次试点除了记录成功或失败，还应该说明：我们原来相信什么，尝试以后哪些判断变了，为什么。

一次试点应该留下什么

开始前

准备验证什么，原来相信什么。

尝试中

实际看到了什么，哪些条件发生变化。

结束后

哪些判断改变了，哪些关系仍然不知道。

可写到这里，我又碰到了另一个问题。

即使我自己已经不再把“使用更多”和“绩效更好”直接连在一起，如果这个变化只留在我的脑子里，下一次换一个团队做尝试时，大家仍然可能从原来的结论重新开始。

到那时，前一次试点虽然产生了经验，换了团队以后却没有被用上。