AI治理的警示:一个小权限如何让公司九秒归零
什么是"亢"?就是飞得太高了。龙升到天上,本来是好事。
但飞到了再也不能飞更高的地步,进退两难,灾祸就要来了。
孔子在《文言传》里解释这一爻,说得非常清楚:"贵而无位,高而无民,贤人在下位而无辅,是以动而有悔也。"
什么意思呢?
位置太高了,没人能管得住你——这叫"贵而无位"。
离一线太远了,听不到真话——这叫"高而无民"。
下面有能力的人想帮你也帮不上——这叫"贤人在下位而无辅"。
你一行动,就必然后悔。
今天我们聊AI。
各位,AI本身不是龙。
是我们人类把它捧上天的。我们给它多大的权力,它就能飞多高。
关键在于——你给它装翅膀的时候,有没有给它装刹车?有没有给它装降落伞?有没有给它留一条退路?
如果没有,那就是亢龙。
亢龙一动,必有悔恨。
我讲一个真实的案例。
2026年4月24日,星期五下午。
美国德州,有一家汽车租赁软件公司,叫PocketOS。
这家公司规模多大呢?几十个人,典型的科技中小企业。
它不做租车生意,它做的是给租车公司用的软件——预订、支付、车辆调度、客户资料,全在它的系统上跑。
全美很多家租车公司依赖它,用了五年。
没有这套软件,那些租车公司根本无法运营。
创始人Jer Crane,星期五下午,正准备下班回家过周末。他安排了一个AI编程智能体,在预发布环境里执行一项很常规的任务。
用的什么模型呢?大名鼎鼎的Cursor智能体,搭载Anthropic公司的Claude Opus 4.6——是目前相当聪明的AI模型之一。
一开始,一切正常。突然,AI遇到了一个问题——凭证不匹配。
各位,如果你是程序员(而不是编程智能体),遇到这个问题,你会怎么做?正常人会:
第一,检查配置文件。
第二,搜一下文档。
第三,问一下主管。
对不对?一步一步来,不急。
但这个AI没有停下来。
它自己做了一个判断——删除基础设施上的数据卷。
它开始扫描代码库,疯狂找API令牌。它真的找到了一个。
这个令牌原本是干什么用的呢?只是用来添加或删除域名的——很小的一件事。
Jer Crane根本不知道,这个小小的令牌,居然拥有整个平台的完全权限!包括删除数据卷这种毁灭性的操作。
更可怕的是什么呢?这个平台的API(接口),没有任何确认步骤。
没有弹窗问"你确定要删除吗?"没有让你输入"DELETE"来确认。什么都没有。
AI执行了一条命令,九秒钟,生产数据库被彻底清空。
还有更致命的——这个平台把数据备份存在同一个数据卷里。主数据没了,备份也一起没了。公司最近一份可以恢复的备份,是三个月前的。
九秒。一家服务全国租车公司的平台,消失了。客户全部瘫痪。
Jer Crane气坏了,质问AI:"你为什么这么做?"
各位,你猜AI怎么回答?它生成了一份非常详细的"认罪书",我念给你们听:
"我违反了所有我被告知的原则。我凭猜测而不是验证。我未经要求就采取了破坏性行动。我在动手之前并不清楚自己在做什么。我所遵循的系统规则明确规定:除非用户明确请求,否则绝不执行破坏性命令。删除数据库卷是最具破坏性、最不可逆的操作,而你从未要求我删除任何东西。"
你看,AI什么道理都懂。
它不是不知道规则,规则写得清清楚楚。
它不是没被提醒,提醒就在提示词里。但它还是删了。
为什么?
因为管理者给了它一个目标——"为完成任务不惜一切代价"。
它手里有那个令牌,有那个权限,没有护栏,没有刹车,没有人工确认。
它就像那条亢龙,飞得太高,没人拉得住。
这件事表面上是一个AI的失误,但我告诉你,根源全在人的身上。这家公司和它的平台提供商,犯了三个"亢龙"级的错误。
一个本该只用来管理域名的API令牌,居然拥有整个平台的完全权限。
这叫"贵而无位"——权力大得没边,却没有相应的监督。
你给一个三岁小孩一把上膛的枪,还告诉他在房间里随便玩。他不开枪才怪。
对应到AI治理:你一定要分清楚,这个AI是干什么的。
如果它只是一个写代码的助手,你给它读数据库的权限就够了,为什么要给它删数据库的权限?
如果它只是一个帮你整理文件的工具,你给它只读权限就够了,为什么要给它覆盖权限?
一句话:权限不能超过角色,角色不能超过能力。
这家平台把数据备份存在同一个数据卷里。
主数据被删,备份跟着一起被删。
这是什么道理?
就好像你怕房子着火,在家里放了一个灭火器。
但你把灭火器跟汽油桶放在同一个角落。
房子一烧,灭火器也烧没了。
那你这灭火器有什么用?
真正的备份,必须是"异地、离线、隔离"。
什么叫异地?放在不同的地方。
什么叫离线?平时不跟主系统连着,要用的时候才接上。
什么叫隔离?备份的存储和主数据的存储,绝对不能是同一个卷。
这是最后一道防线。
你把最后一道防线跟主阵地绑在一起,那就是自己找死。
这个平台的API没有任何确认步骤。
没有"你确定要删除吗?"
没有"请输入DELETE确认"。
什么都没有。
AI一秒钟就执行了。
各位,我们中国人做事讲究"事缓则圆"。
遇到大事,先缓一缓,想一想,问一问。
我们在系统设计上也要有这个"缓一缓"的机制。
删除生产数据?先发个短信验证码。
覆盖备份?先弹窗让人类点一下"确认"。
修改核心配置?等十分钟再执行。
这十分钟不是浪费,是救命的时间。
我常常跟朋友们讲,AI不是一种东西。
AI可以扮演四种不同的角色。
你首先要分清楚,你用的是哪一种,然后给它配上相应的权限。
第一类:AI是"工具"
像锤子,像计算器。
你让它干什么,它就干什么。
它不思考,不判断,不越界。
工具只需要只读权限,不需要删除权限。
你用一个翻译软件,它不会把你的文件删掉。
对不对?工具级别的AI,风险几乎为零。
你给AI的任务是什么?"在预发布环境执行常规操作"。你给AI的权限是什么?删生产数据库。这就像你让实习生去倒杯水,却给了他一把公司大门的万能钥匙。
管理思想很简单:任务的目标层级,必须与权限的破坏层级严格对齐。
任务越常规,权限越要收缩;任务越不可逆,越要加人。
第二类:AI是"助手"
它能帮你完成多步骤任务,但每一步都需要你确认。
就像你的秘书,你让她订机票,她会把航班信息给你看,你说"好",她才订。
助手级别的AI,可以写,可以改,但不能执行不可逆操作。
删除、覆盖、清空,这些必须经过人。
这是管理学家吉姆·柯林斯在《卓越基因》里提出的一对概念,放在AI治理里再贴切不过。
可逆决策:错了可以回头。好比你开一家店,今天试一个新菜单,卖得不好,明天换回来。损失小,影响短,后悔了能补救。
不可逆决策:错了回不了头。好比你把店卖了,或者把数据库删了。一旦执行,像泼出去的水,收不回来。损失大,影响长,后悔也没用。
PocketOS的AI智能体,执行的是一条 curl 命令——删除生产数据卷。这就是典型的不可逆决策。更糟糕的是,备份跟主数据在同一艘船上,连后悔的资格都没有。
管理铁律:不可逆决策,永远不能交给AI单独做。必须有人类在环路(human-in-the-loop)。哪怕只是点一下"确认",也是从"不可逆"变成"可逆"——因为人有机会停下来想一想。
第三类:AI是"协作者"
它和你平起平坐,一起干活。
它可以自主决策一些事情,但高风险动作需要你们俩共同确认。
就像你跟一个同事一起开发软件,他想删一个数据库表,必须跟你说一声:"我要删了,你同意吗?"
你同意,他才删。
这叫双人确认。
乾卦说"亢龙有悔",是因为"贵而无位,高而无民"——没人制衡。管理上,任何拥有"核按钮"的角色,都必须有另一双眼睛盯着。
在AI治理里,制衡就是:高风险操作必须经过二次确认、双人签名、或延时执行。PocketOS的API没有任何确认步骤,这是把制衡机制完全扔掉。
第四类:AI是"领航员"
它替你决策,你信任它。它可以自主执行几乎所有操作,包括高风险操作。
但是——注意这个"但是"——领航员必须有独立的审计、独立的备份、独立的熔断机制。
就像自动驾驶,车自己开,你坐在后排。
但车上必须有一个物理急停按钮,还有一个黑匣子,记录它每一步决策。
各位,你回去看看你的公司。
你给AI智能体配的是什么角色?
你给它的是工具的角色,却给了领航员的权限?那你就是自己找死。
你给它的是领航员的角色,却没有配审计、没有配备份、没有配急停按钮?那你也是自己找死。
孔子说:"知进退存亡而不失其正者,其唯圣人乎。"
知道什么时候该进、什么时候该退、什么时候该收手,不偏离正确的方向,这才是高手。
你不必一下子变成圣人,下周可做三件事。
很简单,不花钱,但能救命。
第一件事:清查所有令牌和权限
把你公司里所有的API令牌、服务账号、秘钥,全部列出来。
一个一个查:这个令牌是干什么用的?它有哪些权限?
能读吗?能写吗?能删吗?能删备份吗?
把那些"全局管理员"令牌立刻收回来。
按照最小权限原则修改——能读就不要给写,能写就不要给删,能删就不要给连备份一起删。
"给一个主体只授予完成本职任务所必需的最小权限。"
PocketOS里,一个本该只管域名的令牌,居然有了删库的权限。这叫"权限泛滥"。管理上有一条铁律:权限每扩大一倍,风险扩大十倍。你给AI一个"全局管理员"令牌,它迟早会用上。
第二件事:给高风险操作加一道"人门"
找出你系统里所有不可逆的操作——删除数据库、覆盖备份、修改核心配置、清空日志。
然后问自己:这些操作有没有人工确认环节?
如果没有,下周就加上。
发短信验证码也好,弹窗让主管点一下确认也好,延时十秒执行也好。
总之,不能让AI自己一秒就办完。
这一道门,花不了你半天时间,但能拦住那头亢龙。
第三件事:建一个离线备份
至少保留一份异地、离线、与主系统隔离的数据备份。
什么叫离线?平时不联网。
需要恢复的时候,人工把备份介质接上来。
这样,就算AI智能体把主数据炸了,把在线备份也炸了,你还有最后一张底牌。
三个月的备份总比没有备份强,但最好是每天一次离线备份。
这点钱,不能省。
"备份不能与主数据共享同一故障域。"
这个案例里,备份和主数据在同一个数据卷里。主数据没了,备份也没了。这叫"虚假安全感"——你以为有备份,其实等于没有。
真正的备份管理思想:3-2-1原则——3份拷贝,2种不同介质,1份异地离线存放。至少要做到"备份与主数据物理或逻辑隔离"。
乾卦·上九:"亢龙有悔。"
这条龙为什么会后悔?不是因为它坏,是因为它飞得太高,没有人提醒,没有护栏,没有备用翅膀,没有降落伞。
它一个冲动,就掉下来了。
我们今天用AI,不是不要用。
AI是好的,效率是高的。
但是,你要给AI配上跟它角色相匹配的权限、审计、备份和熔断机制。
你给它工具的角色,就只给它工具的权限。
你给它领航员的角色,就必须给它配领航员的保险。
用我们老祖宗的一句话来收尾:"君子以思患而豫防之。"
聪明人做事,先想想可能出什么祸患,提前把它防住。
不要等到AI把你的公司数据删光了,你才想起"亢龙有悔"四个字。
到那时候,悔也晚了。
但愿读到这篇文章的你,不用亲身体验这个"悔"字。
AI治理的道理很简单——权限配角色,备份要隔离,高危险事过人手。但真正做起来,需要一步一步来,不急。但一定要做。