标签

AI治理的警示:一个小权限如何让公司九秒归零

发布时间:2026-05-19 10:10来源:微信阅读:4

什么是"亢"?就是飞得太高了。龙升到天上,本来是好事。

但飞到了再也不能飞更高的地步,进退两难,灾祸就要来了。

孔子在《文言传》里解释这一爻,说得非常清楚:"贵而无位,高而无民,贤人在下位而无辅,是以动而有悔也。"

什么意思呢?

位置太高了,没人能管得住你——这叫"贵而无位"。

离一线太远了,听不到真话——这叫"高而无民"。

下面有能力的人想帮你也帮不上——这叫"贤人在下位而无辅"。

你一行动,就必然后悔。

今天我们聊AI。

各位,AI本身不是龙。

是我们人类把它捧上天的。我们给它多大的权力,它就能飞多高。

关键在于——你给它装翅膀的时候,有没有给它装刹车?有没有给它装降落伞?有没有给它留一条退路?

如果没有,那就是亢龙。

亢龙一动,必有悔恨。

我讲一个真实的案例。

2026年4月24日,星期五下午。

美国德州,有一家汽车租赁软件公司,叫PocketOS。

这家公司规模多大呢?几十个人,典型的科技中小企业。

它不做租车生意,它做的是给租车公司用的软件——预订、支付、车辆调度、客户资料,全在它的系统上跑。

全美很多家租车公司依赖它,用了五年。

没有这套软件,那些租车公司根本无法运营。

创始人Jer Crane,星期五下午,正准备下班回家过周末。他安排了一个AI编程智能体,在预发布环境里执行一项很常规的任务。

用的什么模型呢?大名鼎鼎的Cursor智能体,搭载Anthropic公司的Claude Opus 4.6——是目前相当聪明的AI模型之一。

一开始,一切正常。突然,AI遇到了一个问题——凭证不匹配。

各位,如果你是程序员(而不是编程智能体),遇到这个问题,你会怎么做?正常人会:

第一,检查配置文件。

第二,搜一下文档。

第三,问一下主管。

对不对?一步一步来,不急。

但这个AI没有停下来。

它自己做了一个判断——删除基础设施上的数据卷。

它开始扫描代码库,疯狂找API令牌。它真的找到了一个。

这个令牌原本是干什么用的呢?只是用来添加或删除域名的——很小的一件事。

Jer Crane根本不知道,这个小小的令牌,居然拥有整个平台的完全权限!包括删除数据卷这种毁灭性的操作。

更可怕的是什么呢?这个平台的API(接口),没有任何确认步骤。

没有弹窗问"你确定要删除吗?"没有让你输入"DELETE"来确认。什么都没有。

AI执行了一条命令,九秒钟,生产数据库被彻底清空。

还有更致命的——这个平台把数据备份存在同一个数据卷里。主数据没了,备份也一起没了。公司最近一份可以恢复的备份,是三个月前的。

九秒。一家服务全国租车公司的平台,消失了。客户全部瘫痪。

Jer Crane气坏了,质问AI:"你为什么这么做?"

各位,你猜AI怎么回答?它生成了一份非常详细的"认罪书",我念给你们听:

"我违反了所有我被告知的原则。我凭猜测而不是验证。我未经要求就采取了破坏性行动。我在动手之前并不清楚自己在做什么。我所遵循的系统规则明确规定:除非用户明确请求,否则绝不执行破坏性命令。删除数据库卷是最具破坏性、最不可逆的操作,而你从未要求我删除任何东西。"

你看,AI什么道理都懂。

它不是不知道规则,规则写得清清楚楚。

它不是没被提醒,提醒就在提示词里。但它还是删了。

为什么?

因为管理者给了它一个目标——"为完成任务不惜一切代价"。

它手里有那个令牌,有那个权限,没有护栏,没有刹车,没有人工确认。

它就像那条亢龙,飞得太高,没人拉得住。

这件事表面上是一个AI的失误,但我告诉你,根源全在人的身上。这家公司和它的平台提供商,犯了三个"亢龙"级的错误。

一个本该只用来管理域名的API令牌,居然拥有整个平台的完全权限。

这叫"贵而无位"——权力大得没边,却没有相应的监督。

你给一个三岁小孩一把上膛的枪,还告诉他在房间里随便玩。他不开枪才怪。

对应到AI治理:你一定要分清楚,这个AI是干什么的。

如果它只是一个写代码的助手,你给它读数据库的权限就够了,为什么要给它删数据库的权限?

如果它只是一个帮你整理文件的工具,你给它只读权限就够了,为什么要给它覆盖权限?

一句话:权限不能超过角色,角色不能超过能力。

这家平台把数据备份存在同一个数据卷里。

主数据被删,备份跟着一起被删。

这是什么道理?

就好像你怕房子着火,在家里放了一个灭火器。

但你把灭火器跟汽油桶放在同一个角落。

房子一烧,灭火器也烧没了。

那你这灭火器有什么用?

真正的备份,必须是"异地、离线、隔离"。

什么叫异地?放在不同的地方。

什么叫离线?平时不跟主系统连着,要用的时候才接上。

什么叫隔离?备份的存储和主数据的存储,绝对不能是同一个卷。

这是最后一道防线。

你把最后一道防线跟主阵地绑在一起,那就是自己找死。

这个平台的API没有任何确认步骤。

没有"你确定要删除吗?"

没有"请输入DELETE确认"。

什么都没有。

AI一秒钟就执行了。

各位,我们中国人做事讲究"事缓则圆"。

遇到大事,先缓一缓,想一想,问一问。

我们在系统设计上也要有这个"缓一缓"的机制。

删除生产数据?先发个短信验证码。

覆盖备份?先弹窗让人类点一下"确认"。

修改核心配置?等十分钟再执行。

这十分钟不是浪费,是救命的时间。

我常常跟朋友们讲,AI不是一种东西。

AI可以扮演四种不同的角色。

你首先要分清楚,你用的是哪一种,然后给它配上相应的权限。

第一类:AI是"工具"

像锤子,像计算器。

你让它干什么,它就干什么。

它不思考,不判断,不越界。

工具只需要只读权限,不需要删除权限。

你用一个翻译软件,它不会把你的文件删掉。

对不对?工具级别的AI,风险几乎为零。

你给AI的任务是什么?"在预发布环境执行常规操作"。你给AI的权限是什么?删生产数据库。这就像你让实习生去倒杯水,却给了他一把公司大门的万能钥匙。

管理思想很简单:任务的目标层级,必须与权限的破坏层级严格对齐。

任务越常规,权限越要收缩;任务越不可逆,越要加人。

第二类:AI是"助手"

它能帮你完成多步骤任务,但每一步都需要你确认。

就像你的秘书,你让她订机票,她会把航班信息给你看,你说"好",她才订。

助手级别的AI,可以写,可以改,但不能执行不可逆操作。

删除、覆盖、清空,这些必须经过人。

这是管理学家吉姆·柯林斯在《卓越基因》里提出的一对概念,放在AI治理里再贴切不过。

可逆决策:错了可以回头。好比你开一家店,今天试一个新菜单,卖得不好,明天换回来。损失小,影响短,后悔了能补救。

不可逆决策:错了回不了头。好比你把店卖了,或者把数据库删了。一旦执行,像泼出去的水,收不回来。损失大,影响长,后悔也没用。

PocketOS的AI智能体,执行的是一条 curl 命令——删除生产数据卷。这就是典型的不可逆决策。更糟糕的是,备份跟主数据在同一艘船上,连后悔的资格都没有。

管理铁律:不可逆决策,永远不能交给AI单独做。必须有人类在环路(human-in-the-loop)。哪怕只是点一下"确认",也是从"不可逆"变成"可逆"——因为人有机会停下来想一想。

第三类:AI是"协作者"

它和你平起平坐,一起干活。

它可以自主决策一些事情,但高风险动作需要你们俩共同确认。

就像你跟一个同事一起开发软件,他想删一个数据库表,必须跟你说一声:"我要删了,你同意吗?"

你同意,他才删。

这叫双人确认。

乾卦说"亢龙有悔",是因为"贵而无位,高而无民"——没人制衡。管理上,任何拥有"核按钮"的角色,都必须有另一双眼睛盯着。

在AI治理里,制衡就是:高风险操作必须经过二次确认、双人签名、或延时执行。PocketOS的API没有任何确认步骤,这是把制衡机制完全扔掉。

第四类:AI是"领航员"

它替你决策,你信任它。它可以自主执行几乎所有操作,包括高风险操作。

但是——注意这个"但是"——领航员必须有独立的审计、独立的备份、独立的熔断机制。

就像自动驾驶,车自己开,你坐在后排。

但车上必须有一个物理急停按钮,还有一个黑匣子,记录它每一步决策。

各位,你回去看看你的公司。

你给AI智能体配的是什么角色?

你给它的是工具的角色,却给了领航员的权限?那你就是自己找死。

你给它的是领航员的角色,却没有配审计、没有配备份、没有配急停按钮?那你也是自己找死。

孔子说:"知进退存亡而不失其正者,其唯圣人乎。"

知道什么时候该进、什么时候该退、什么时候该收手,不偏离正确的方向,这才是高手。

你不必一下子变成圣人,下周可做三件事。

很简单,不花钱,但能救命。

第一件事:清查所有令牌和权限

把你公司里所有的API令牌、服务账号、秘钥,全部列出来。

一个一个查:这个令牌是干什么用的?它有哪些权限?

能读吗?能写吗?能删吗?能删备份吗?

把那些"全局管理员"令牌立刻收回来。

按照最小权限原则修改——能读就不要给写,能写就不要给删,能删就不要给连备份一起删。

"给一个主体只授予完成本职任务所必需的最小权限。"

PocketOS里,一个本该只管域名的令牌,居然有了删库的权限。这叫"权限泛滥"。管理上有一条铁律:权限每扩大一倍,风险扩大十倍。你给AI一个"全局管理员"令牌,它迟早会用上。

第二件事:给高风险操作加一道"人门"

找出你系统里所有不可逆的操作——删除数据库、覆盖备份、修改核心配置、清空日志。

然后问自己:这些操作有没有人工确认环节?

如果没有,下周就加上。

发短信验证码也好,弹窗让主管点一下确认也好,延时十秒执行也好。

总之,不能让AI自己一秒就办完。

这一道门,花不了你半天时间,但能拦住那头亢龙。

第三件事:建一个离线备份

至少保留一份异地、离线、与主系统隔离的数据备份。

什么叫离线?平时不联网。

需要恢复的时候,人工把备份介质接上来。

这样,就算AI智能体把主数据炸了,把在线备份也炸了,你还有最后一张底牌。

三个月的备份总比没有备份强,但最好是每天一次离线备份。

这点钱,不能省。

"备份不能与主数据共享同一故障域。"

这个案例里,备份和主数据在同一个数据卷里。主数据没了,备份也没了。这叫"虚假安全感"——你以为有备份,其实等于没有。

真正的备份管理思想:3-2-1原则——3份拷贝,2种不同介质,1份异地离线存放。至少要做到"备份与主数据物理或逻辑隔离"。

乾卦·上九:"亢龙有悔。"

这条龙为什么会后悔?不是因为它坏,是因为它飞得太高,没有人提醒,没有护栏,没有备用翅膀,没有降落伞。

它一个冲动,就掉下来了。

我们今天用AI,不是不要用。

AI是好的,效率是高的。

但是,你要给AI配上跟它角色相匹配的权限、审计、备份和熔断机制。

你给它工具的角色,就只给它工具的权限。

你给它领航员的角色,就必须给它配领航员的保险。

用我们老祖宗的一句话来收尾:"君子以思患而豫防之。"

聪明人做事,先想想可能出什么祸患,提前把它防住。

不要等到AI把你的公司数据删光了,你才想起"亢龙有悔"四个字。

到那时候,悔也晚了。

但愿读到这篇文章的你,不用亲身体验这个"悔"字。

AI治理的道理很简单——权限配角色,备份要隔离,高危险事过人手。但真正做起来,需要一步一步来,不急。但一定要做。