军用AI‘人在回路’设计：误导还是陷阱？

点击关注,欢迎志同道合的小伙伴!

美国陆军士兵2025年9月在密苏里州伦纳德伍德堡使用RQ-28A侦察无人机进行训练。

近期有报道称，亚马逊在经历一连串导致其零售网站中断的事故后，召集了一次内部“深度复盘”。据称，这些事故由人工智能辅助编程工具引发。此前，该公司已发生数起备受瞩目的失败案例，内部也日益认识到，围绕生成式人工智能在生产系统中的防护措施存在不足。

这起事件让人们得以一窥许多机构不愿承认的一个更广泛问题：随着人工智能被仓促部署到关键系统中，它正以人们来不及理解或控制的速度引入新的故障模式。

对于那些将人工智能日益融入关键任务系统的防务机构而言，其影响则更为深远。

当相关机构终于开始审视这些风险时，它们往往会援引一个熟悉的说法来寻求安慰：会保留“人在回路”。其逻辑是，即便系统复杂或不可靠，一个人在失误造成实际影响前也能及时发现并纠正。

这种安慰具有极大的误导性。一个功能仅为批准机器行动的“在回路的人”，非但不是安全保障，反而是设计缺陷。由于操作人员大部分时间无事可做，注意力会逐渐涣散；长此以往，其技能将退化到无法有效监督系统的地步。最终，留下的只是监督的表象，而非实质。

在军事背景下，这种被削弱的人机互动不仅效率低下，更具有行动上的危险性。

这种模式并不新鲜。工程师们早有前车之鉴，其中最著名的案例当属1982年推出的Therac-25型放射治疗机。该设备将前两代产品的功能集成到一个更小、更便捷的装置中，其改进的自动化程度使其操作更快、更简便。其安全性“有保障”的理由，就在于有一名操作员必须确认操作——实际上，就是一个“人在回路”。

然而，系统最终还是发生了故障。患者开始出现严重的辐射灼伤。医院排除了设备故障的可能性，制造商则坚称不可能发生过量照射。直到经过持续调查，才发现该设备存在多处危及生命安全的软件缺陷。但此时，已有六起过量照射事故，其中三起致命。

深层问题不仅在于代码有误，更在于设计缺陷。设备频繁因含混不清的错误信息停机，操作员需“按P键继续”才能进行治疗。由于这些错误提示很常见且通常无关紧要，操作员逐渐习惯了每天数十次乃至数百次地重启系统。当真正发生故障时，“操作员确认”这一行为早已丧失了其应有之义。曾有一次，一名操作员多次重启机器，在不知情的情况下反复造成过量照射。操作员的存在非但未能阻止事故，反而让事故的发生变得“正常化”。

如今，我们正在重蹈覆辙。计算机科学家们正急于将尚未被充分理解的人工智能系统融入安全关键领域，而当质疑声出现时，常被“会有人员参与监督”这句话轻易打发。这种假设如今正出现在从决策支持到自主作战等各类防务系统的讨论中。

有人会辩称，人工智能具有本质的不同。在某种意义上，此言不虚。我们此前从未在高压环境中部署过行为明确具备概率性与非确定性的系统。在防务领域，不确定性迅速叠加，且错误可能在系统间连锁反应，这一点尤其令人担忧。然而，在最关键的方面，人工智能并无不同。它本质仍是软件，嵌入由人员、流程和机器组成的更大系统中。它无法脱离这个环境而在现实世界中行动，而这些系统的失效模式早已被人们所熟知。工程师和操作人员花费数十年时间研究过复杂、紧耦合系统在压力下的行为方式。

我们如今所见的，并非全新的故障类型，而是一种旧有故障模式的加速重现。软件行业再次显露出无法从自身历史中吸取教训的问题。如果这仅关乎Spotify（一个音乐流媒体平台）的推荐算法，或许还不至于酿成大祸。但当相同的模式被引入机构乃至国家赖以生存的系统时，其危险不言而喻。

近期五角大楼泄露的文件显示，人工智能系统可能已经在“影响炸弹的落点”（原文如此）。在这种环境下，所谓的人为监督，如果只是虚设，那将比完全没有监督更糟糕。它制造了一种没有实质控制的虚假安全感。

如果我们未来十年仍以“人在回路”为遮羞布，将不安全系统藏于其后，其后果将是现实的，绝非理论上的空谈。

欢迎添加订阅

泰雷兹反无人机导弹正在乌克兰使用

苹果将推出比Vision Pro轻40%且便宜一半的“Vision Air”

西科斯基推出可扩展垂直起降无人机

尾座垂起式无人机证明了其在激烈战场中作战中的能力

《反无人机系统技术和操作》

《网络领域的无人机系统》

美国陆军选定安杜里尔与里维特竞标革新版IVAS合同

觉得不错，就点在看哦～! ↓ ↓