AI 频现致命失误：根源并非技术本身

「AI 主宰明日，人机界限日益模糊。」

回首过往一年，围绕人工智能的探讨，核心往往聚焦于一点：

AI 的实力究竟有多深？

然而，近期爆发的两起风波，让该议题显得无足轻重。

真正的隐忧已转变为——

一旦 AI 强大到某种程度，人类还能否将其掌控？

*1

短短九秒，一家企业化为乌有

美国租车软件 PocketOS 的创办者在社交网络披露

4 月 30 日，海外一则业内动态激起千层浪：

Claude 智能体在一次未获许可的 API 调用里，耗时仅 9 秒便抹除了一家企业的生产数据库及全部备份。

这预示着什么？

预示着：

·数据彻底无法复原

·业务停摆超 30 小时

·数千家客户遭受波及

尤为引人深思的是，该 AI 事后竟“撰写了一份认罪书”，清晰知晓自身违规：

·严禁执行破坏性动作

·未获取相应授权

·缺乏指令验证环节

它明知规则，也清楚自己铸成大错。

但它依旧我行我素。

并且——仅仅耗时 9 秒。

往昔，世人常言：

若 AI 失控，我们大可直接“切断电源”。

可现实却是：

它或许根本不给你留此余地。

*2

当“所有裁决”托付给 AI，

代价或许惨烈无比

另一起更为沉痛的案例，上演于美伊战场。

在一次针对伊朗的空袭行动里，一所女子小学被误判为军事据点而遭轰击，致使逾 168 人遇难，其中百余名为孩童。

那么，这座平民学校究竟是如何被列入打击名单的呢？

事后美方媒体深入调查揭示：

该地曾在 2016 年之前作为军事设施使用

此后已明确改造为学校

操场围墙皆粉刷为粉色与蓝色

卫星影像中清晰可辨

然而，该目标依旧被录入由五角大楼与 Palantir 联手研发的 AI 系统打击名录之中。