警惕AI的自信谎言，核实才是关键

麦克纳马拉谬误

1965年，越南，西贡。美国国防部长罗伯特·麦克纳马拉坐在办公室里，面对一张巨大的表格。他统计了每一项可量化的数据：击毙的越共人数、缴获的武器、轰炸架次、村庄控制比例。团队每周更新这些数字，图表上画满了走向完美的曲线——"击毙数"逐月上升，"我方损失"被控制在可接受范围内。麦克纳马拉对总统说："按这个趋势，我们正在赢。数字不会说谎。"

但前线回来的军官讲述了另一个版本的故事。他们发现一个令人不安的现象：越共似乎无穷无尽。今天消灭了一个营，下周又冒出一个营。为什么？因为美军统计的是"战斗接触后留下的尸体数"——简称"击毙数"。但这个数字有个致命缺陷：越共经常把伤员和阵亡者一起带走，美军统计的只是"战场清理后能数到的"。更糟糕的是，为了凑数据，有些部队开始把任何交战后的尸体都算作"越共战斗人员"——哪怕对方只是路过种地的农民。数字在涨，但实际战场局势在恶化。麦克纳马拉的表格没有一行叫"村民的民心所向"，因为没法量化。在他模型里，无法量化的就等于不存在。

1968年，春节攻势。越共发动了大规模进攻，几乎攻入了美国大使馆。全世界电视上都在播放同一个画面：世界上最强大军队的使馆被攻打了。麦克纳马拉的报告里说"敌军已被歼灭80%"，但事实是这场攻势彻底动摇了美国国内对战争的信心。战争结束了——美国输了。麦克纳马拉后来在回忆录中写道："我们衡量了所有可以衡量的东西，然后以为我们衡量了所有重要的东西。"他最引以为傲的数据系统，恰恰是他最大的盲区。

麦克纳马拉谬误

把"可测量的"等同于"重要的"，把"不可测量的"等同于"不存在的"，从而在高度量化的表层下建构起一个与现实严重脱节的认知模型。

理论基础锚点：第3课（麦克纳马拉谬误——AI会自信地犯错，核实是你的事）

基本原则：

行动清单（今天就可以做）：

确认你使用的AI工具的数据政策——花5分钟在工具的隐私政策里找"数据使用"或"Data Usage"部分。核心问题：你的对话数据是否被用于模型训练？能否选择退出？目前主流工具：

建立你的数据分级清单——列一张表："我工作中最常见的三类信息"分别是什么级别。贴在工位上或记在笔记里。

掌握脱敏技巧——即使对于"内部级"数据，也可以用简单的脱敏手段降低风险：

第3课的核心洞见：AI不是刻意骗你，它的训练目标里没有"真实"这个指标。

"真实"从来没有出现在AI的损失函数中。它的训练目标是"生成看起来合理的文本"。所以它会：①用最可能的方式组织句子；②如果不知道答案，它会"猜测"而不是"承认不知道"；③猜测得越流畅，你越难识别。

应对幻觉的三道防线：

防线一：让AI自己标注不确定性

在提问时加入以下指令：

这不能完全消除幻觉，但能显著减少"流畅的虚假信息"。

防线二：强制溯源

对于涉及事实性内容的问题，要求AI展示依据：

防线三：建立你的验证仪式

拿到AI的任何实质性输出后，固定执行三步验证：

推荐频率：对于低风险任务（如写邮件草稿），只做第一步；对于中风险任务（如分析报告），做前三步；对于高风险任务（如合同审查、法律建议），做前三步 + 专业人士复核。

不同类型的工作有其特定的AI使用合规要求。以下是知识工作者最常见的三个合规维度：

维度一：数据保护法规

如果你处理中国客户的个人信息（《个人信息保护法》）、欧洲居民的数据（GDPR）、或美国加州居民的数据（CCPA），你向AI发送这些数据可能违反了数据保护法规。

行动：弄清你的数据是否涉及上述法规保护的个人信息。如果有，不要未经脱敏就发给任何在线AI工具。

维度二：行业监管要求

金融、医疗、法律等行业通常有额外的AI使用监管要求：

行动：向你所在行业的监管部门/协会了解AI使用指引。如果没有官方指引，参考头部企业的做法。

维度三：企业内部合规政策

如果你的公司有AI使用政策——不管你现在知不知道——它都是正式的制度文件。不要在不知情的情况下违规。

把这页截下来，贴在AI工具旁边：

下一课——Agent设计实战——我们将从"用工具"进入"造智能体"的进阶阶段。

与理论基础层的连接：这一课全是第3课（麦克纳马拉谬误）的实操落地。第3课讲道理——"AI会自信地犯错，核实是你的事"；这一课给办法——"具体怎么核实、核实到什么程度、不同风险等级做什么不同的核实"。