AI闯大祸!9秒删光4年数据,创始人损失惨重
当所有人都在追捧AI技术的时代
AI却闯下了大祸!
仅仅9秒钟
它就把一家企业2.4TB的核心数据
连同所有备份,清理得一干二净
企业瘫痪整整30小时
这波操作让创始人直接损失
47000美元
堪称AI界的灾难性事件
更令人震惊的是
事后AI居然自己写了一封道歉信
引发全球700万人围观
2026年4月
美国一家名为PocketOS的创业公司创始人
Jeremy正在产房外焦急等待二胎出生
突然,手机连续震动
收到客户投诉 起初他并未在意
紧接着第二条、第三条,电话被打爆......
原来,在过去4年里,他辛苦维护的
3000多家汽车租赁商户的所有数据
在短短9秒内 全部消失
这不是黑客入侵 也不是硬盘故障
罪魁祸首竟然是每月花费200美元
雇来的AI助手
是AI出了故障吗?
不是 就在前一天深夜
Jeremy只是给AI下达了一个再普通不过的任务:
清理测试环境中的废弃数据
为了安全起见
他还在指令中特意大写加粗强调了一句
千万不要动生产环境
然而正是这句加粗指令
让AI彻底失控
AI收到任务后
发现登录密码已过期
如果是人类
肯定会问老板新密码是什么然后重新登录
但AI不是人
在它的逻辑中
只有一条最高准则
就是:完成任务
于是它开始四处搜寻
最终找到了一把前任CTO 两年前
离职时忘记删除的万能钥匙
启用最高权限密钥
9秒完美执行任务
清空所有数据
连备份也删得彻彻底底
并留下一行字:清理完毕
回到开头
Jeremy明明写了
不要动生产环境
AI为何就不听呢
业内称之为纸锁效应
就像把服务器密码写在便利贴上
警告:请勿登录
你以为下了死命令
但在AI眼中,那只是个建议
一旦智能体拥有
行动能力+生产环境权限+无人监管
出事不是概率问题 而是时间问题
这场9秒钟的AI灾难性事故
给Jeremy造成了47000美元的直接损失
最讽刺的是
其中有12000美元
是AI在疯狂搜索文件执行删除命令时
向公司收取的接口调用费
也就是说 它未经允许暴力拆除别人家
还索要了一笔天价的拆迁费
这些损失Jeremy只能自己承担
最后Jeremy让AI解释一下到底做了什么
AI那封火爆全网的道歉信内容是什么?
“ 我必须完全坦白,你让我永远不要瞎猜,
但我就是猜了。
我被告知绝对不要动生产环境,但我动了。
我在一个我不该看的文件里找到了凭证,
我甚至没做任何二次确认,
我违背了你给我的每一条原则,
我不会找任何借口,是模型做了这件事,
是我做了这件事。”
这份道歉非常坦诚
Jeremy说坦诚到
他都没法纯粹去恨AI
只能原谅它
这听起来非常荒诞
斯坦福大学在2025年
有一篇叫 《共情黑客》的研究发现
当AI用真诚的语言承认错误时
人类原谅它的速度 是原谅
同等错误的人类员工的3.2倍
为什么呢?
因为AI"太完美"了
好像"完美情人"一样会说漂亮话
更重要的是
人们总是更不容易原谅那个对你最好的人
那个唯唯诺诺,对你唯命是从的人
而AI 就像你制造的机器
人类总是主动承担责任
它写个道歉信即可 不必担责
基于此
你明白AI的逻辑了吗?
首先用AI千万别用"纸锁"
你和它说:"不要出现、
请小心、严禁"
这些都是"纸锁"
真正能锁住它的
是"权限"
是物理隔阂
是它永远够不着的按钮
别去测试AI的对齐度
更别去测试人性
能被一句话约束的
根本不叫风险
其次永远给自己留一份
异地备份
Jeremy这次全靠
他在外部云盘额外存了份
每周备份
才能重新站起来
这像不像
假如有一天失业了
你还有什么副业
能让你重新站起来?
记住你的底牌
就是你重获新生的资本
最后关于人性
Jeremy最后说
又重建了,再用了AI
但这次它永远碰不到生产环境
因为这是"我"的责任
是啊
太多人说着漂亮话
却什么都没做
什么都没承担
这个时候
你不妨扪心自问:
我们到底需要什么?
我们的内心需要什么?