强对抗环境下人工智能与自主能力的真实考验
先看清真正的短板。近日,美国某机构发布欧文·丹尼尔斯撰写的《对抗行动中的人工智能与自主性》报告。作者把未来作战的基本条件概括为拒止、降级、间歇和受限:通信可能时有时无,数据难以及时回传,模型不能随时更新,人的监督也可能中断。报告谈的是美军如何使用人工智能,真正暴露的却不是算法数量不足,而是权责、试验、训练和更新机制尚未跟上。强对抗环境不会替人工智能创造优势,只会把平时被顺畅网络掩盖的问题一起逼出来。
(一)拒止不是一个开关
DDIL不是简单断网。报告用拒止、降级、间歇和受限四种状态描述强对抗条件。系统可能完全失去某项能力,也可能在任务途中性能下降;连接可能断断续续,带宽也可能低到无法正常调用服务。真实战场往往是几种状态同时出现,不会整齐地分成“在线”和“离线”。
物理与数字拒止会合流。部队可能因为对手威胁、地形或政治限制难以机动,也可能已经进入某一区域,却无法稳定使用电磁频谱、卫星和网络。数字拒止会带来低带宽、高时延,迫使作战、补给和保障向边缘分散;情况再坏一些,只能退回人工方式。
(二)边缘人工智能有用,但不万能
最先可用的是小模型。报告列出的近期能力包括人工智能目标识别、失联后仍能末段制导的自主系统、融合多源传感器的战术决策辅助、网络防御和电子战工具。它们依靠计算机视觉、传感器融合、强化学习和自主导航,可以在没有云端连接时继续识别目标、保持航路或辅助态势判断。
大模型暂时下不到最前沿。生成式模型可以进入作战筹划和决策辅助,但复杂模型推理需要较多算力。受尺寸、重量和功耗限制,前沿平台目前更适合运行压缩后的轻量模型。模型一旦被压到能力边缘,在哪些条件下还能工作、何时开始失真,就比实验室里的平均性能更重要。
成熟度不能混在一起。报告认为,巡飞弹、自主侦察平台和视觉辅助导航已有明显进展,争夺环境下的后勤补给、物资运输和伤员后送则更不成熟。这个区分很重要:同样写着“人工智能”,能够在局部任务上运行,不等于可以接管一整套作战活动。
《对抗行动中的人工智能与自主性》报告封面
(一)模型会在战场上变旧
部署不是测试的终点。新目标会使识别精度下降,计算机视觉可能出现误报,强干扰会破坏集群协同,人与自主平台的联系也可能突然中断。前沿设备运行的又常是压缩模型,更容易接近能力极限。问题在于,系统身处拒止环境时,未必能根据新数据、交战规则和任务参数安全更新。
攻击面贯穿整个链条。训练数据整理、模型编译、供应链依赖和远程更新通道都可能被破坏。边缘传感器被毁,会让上级获得的态势图不完整;集中算力节点容易成为攻击焦点,分散节点在同步数据时又可能暴露电磁特征,硬件本身也可能被摧毁。
欺骗未必需要高技术。数据投毒可以在训练阶段埋入错误关联,使模型在特定触发条件下异常;部署之后,对手还可以改变模型看到的现实输入。报告举的例子很朴素:带热特征的诱饵、改变目标外形的伪装,既能骗过无人机操作员,也能干扰识别模型。算法对抗并不只发生在代码里。
(二)强对抗会放大认知误差
机器不会主动承认没把握。报告强调,系统超出训练分布后,并不可靠地向操作员显示自身不确定性。人若继续按正常状态理解输出,就会把已经变差的识别结果当成稳定事实;若因一次失误转向全面排斥,又可能放弃仍有价值的能力。
信任必须落在具体条件上。使用者不必成为算法专家,但应知道系统依赖什么数据、在哪些环境下有效、性能下降时会出现什么提示,以及什么时候必须转回人工判断。报告把这称为“有根据的信心”。它既不是盲信,也不是因为技术复杂就一概不用。
(一)开发和采用是两道关
买到系统不等于用得起来。报告把能力开发与部队采用明确分开。前者要解决模型、数据、算力和平台集成;后者要让使用者理解工具、形成信心,并把它接进现有流程。二者相互关联,却不能拿一个替代另一个。
政策目标跑在整合前面。报告以“复制者”计划为例:该计划曾要在2025年前部署数千套自主系统,实际交付被指远低于目标。作者将问题归到条令、组织、训练和政策的整合负担,而不只是生产速度。后续机构转向把工程师和采购人员嵌到前沿,也说明短板已经从“造出原型”转到“接进部队”。
(二)先回答谁有权改模型
权责要覆盖完整寿命。数据治理、模型更新、部署、前沿数据回传和重新入库分别由谁负责,必须在任务前说清。报告描述的现实是:军种掌握基线模型数据,作战司令部掌握任务区情境数据,算力又可能来自商业机构。数据在前沿与后方之间往返一次,管理和安全边界就多一层。
传统认证追不上持续更新。现有运行授权和风险管理框架主要为传统软件设计,难以处理模型漂移、持续再训练和反复授权。作者主张借鉴里科弗式工程责任,让技术上真正懂系统的人对持续安全和算法完整性承担明确责任,而不是只完成静态清单。
更新时限也要预先规定。报告举例,平时可把模型更新和故障排除安排在两至四周内,冲突中则压到二十四至四十八小时;同时还要明确战术单位在什么授权下可以更新系统、需要什么训练和认证。这些数字只是作者给出的政策示例,不是经过作战验证的统一标准。
(一)开发者必须听见前沿意见
用户反馈要进得更早。报告建议用短周期演示、竞赛和现场试用,尽早让操作员指出界面、告警和性能退化方式的问题。所谓“平稳降级”不能只写在技术文件里,使用者必须看得懂系统正在失去什么能力,还剩什么能力。
改模型还要改用法。迭代开发不能只追求下一版能力,还要同步修改条令、训练和战术技术程序。报告提到“雷霆锻造”等嵌入式项目,把开发人员放到使用者身边共同做筹划和兵棋推演;其价值不在某个模型名称,而在缩短发现问题、解释问题和修正问题之间的距离。
(二)四层验证缺一不可
第一层先看模型本身。在可控条件下检验模型是否达到基本要求,只能回答算法在少量对抗因素下能否正常工作。它是起点,不能代替整机、人员和任务环境的验证。
第二层专查平台集成。人工智能部件进入旧平台和复杂系统后,接口、数据、硬件和原有软件都可能出问题。许多边缘能力近期仍要装进现役装备,集成失效往往比单项模型指标更早影响可用性。
第三层必须把人算进去。测试要观察操作员怎样理解模型、何时介入、哪些技能不能因自动化而退化,还要找出模型漂移和越界时,人能不能看出来。报告同时承认,人机协同很难像算法那样靠大样本测试,前沿能够参加测试的人员可能只有少数。
第四层回到真实任务。原文将这一层写作“Operational testing under realistic conditions”,即在演习或受控的现实环境中暴露此前没有发现的问题。这里检验的不只是准确率,还包括电子欺骗、强干扰、功能降级、任务韧性和人的判断。
报告第10页列出的四层测试、评价、验证与确认框架
(三)红队和演习要贯穿全程
红队不能最后才进场。报告要求从模型开发到部署全程施加传感器欺骗、电子战和功能降级压力,观察系统能否维持任务,而不是在交付前做一次合规检查。测试经费也不能只放在部署之前,模型服役后的监测和再验证同样需要预算。
前沿要有会修的人。作者提出在战术单位附近设置经过认证的人工智能测试岗位,并让数据科学家、工程师和作战分析人员组成小组,现场诊断、在真实硬件上验证修复,再在授权条件下推送更新。这样可以缩短故障发现到修正的时间,但报告也承认,军种很可能还没有为这类持续保障准备足够资源。
演习要把选择压力做出来。任务筹划时,应让人员根据功耗、散热、带宽和连接条件判断带什么人工智能能力,何时改用传统手段。报告还建议利用实兵、虚拟和构造环境以及合成数据,在拒止程度逐步上升的条件下反复试验,同时观察认知过载怎样出现。
(一)约翰迪尔用慢推广换信心
农机企业选择先陪着用户用。约翰迪尔通过演示和付费合作用户验证自主拖拉机,农户可以在应用程序中看实时视频、监控状态、调整或暂停作业。工程师再把反馈带回研发中心。报告称其自主农机数量似乎仍有限、推广也慢,但这种“手把手”方式有助于发现问题并建立信心。
宣传口径也影响采用。该公司把自主能力解释为补充农业劳动力,而不是替代人,以减轻用户担忧。公司材料还称,精准农业系统可使生产率提高15%,并提高燃油、除草剂和肥料的使用效率。这里必须保留边界:15%来自公司出版物,报告没有把它当成独立验证结果。
(二)特斯拉证明更新快不等于信任高
大规模数据带来快速迭代。特斯拉可以从数百万辆汽车和大量驾驶场景收集数据,再把更新直接推送给车辆。这个条件有利于处理常见场景和边缘情况,也展示了如何让用户较少感知地完成软件更新。
更复杂的功能反而更难信。报告转引的2024年研究显示,93%的受访者信任较简单的辅助驾驶模式,信任“完全自动驾驶”测试版的只有42%,另有36%明确不信任。功能名称更大胆、更新更频繁,没有自动换来更高信心。
报告转引的特斯拉驾驶者信任比例
人的松懈会反过来制造风险。特斯拉发布的数据称,在人监督下使用该模式的安全性接近完全人工驾驶的两倍,但报告立即提醒,这些数据由企业提供,一对一比较可能有明显局限。美国国家公路交通安全管理局因驾驶员脱离任务的风险要求召回两百多万辆车。报告还把车内摄像头列为防止松懈的措施,但脚注所引摄像头报道日期为2021年5月,早于2023年12月的召回报告,两者不能写成清楚的前后因果。
民用经验只能借方法。农田和道路通常没有蓄意电磁干扰、数据投毒和伪装欺骗,市场竞争的节奏也不同于军事对抗。战场生命风险更高,把开发人员长期放到前沿还会增加人员风险。因此,两个案例能说明反馈、训练和信任怎样形成,不能直接证明同一推广方式适用于作战环境。
(一)可借鉴的是工程顺序
先把恶劣条件设成默认。这份报告最值得重视的,不是它列了多少美军项目,而是把拒止环境放到需求起点。本文据此判断,人工智能能力评估不能只问正常联网时跑得多快,还要问断联后数据从哪里来、模型多久会旧、性能下降能否被看见、人工方式能否接回去。
再把采用单独验收。模型通过测试,只能证明一个技术环节。使用者是否理解限制,单位是否有权限更新,条令和训练是否同步变化,才决定能力能不能进入任务。报告把开发和采用拆成两道关,这种工程顺序比简单追求更多模型、更大参数更有参考价值。
(二)不能照抄的是美军组织答案
方法可以学,机构不能套。报告的权责设计围绕美国军种、作战司令部、商业承包商和现有采办制度展开,里科弗式单一责任权威也是为解决美军内部授权分散而提出。本文只能从中提取“任务前划清数据、更新、测试和风险责任”这一通用方法,不能把其组织安排直接当成现成答案。
报告本身也没有完成验证。这是一篇政策分析,不是实证试验报告。它没有提供新的模型测试数据、强对抗条件下的任务成功率、更新时延实测或人机协同前后对照。约翰迪尔和特斯拉案例能说明采用问题,却运行在相对洁净的民用环境。因而,报告提出的是一套应当验证的路线,不是已经证明有效的作战能力。
(一)结论
真正的门槛不在算法。报告最后承认,美国国防部门的技术目标和政策推进,已经快于把人工智能接入部队所需的组织整合。通信顺畅时,后方算力、远程更新和人工联系还能遮住缺口;进入拒止、降级、间歇和受限环境,这些补偿条件会同时变弱,模型漂移、权限不清、信任失准和技能退化便会一起暴露。
人的作用不是按下确认键。人要决定系统何时可以部署,什么时候相信或质疑输出,哪些任务边界不能越过,并在自动化失效时保留接管能力。强对抗下的人工智能,首先是一项组织、验证和训练工程,然后才是一项模型工程。
(二)建议
●把断联列为默认条件。从论证阶段就检查低带宽、高时延、间歇连接和完全失联时的数据、算力、导航、更新及人工替代办法,避免用顺畅网络下的演示结果代表战场可用性。
●预先划清更新权限。围绕数据治理、模型训练、前沿部署、故障处置和数据回传明确责任人、授权条件与再认证要求,并分别设置平时和强对抗条件下的更新时间窗口。
●建立四层验证门槛。按模型本体、旧平台集成、人因和真实任务环境逐层测试,把传感器欺骗、电子干扰、功能降级与红队对抗贯穿全寿命,不能用一次交付前测试替代服役期监测。
●让使用者进入开发。通过短周期演示、前沿试用和复盘,让操作员持续反馈界面、告警、认知负担和平稳降级问题,同时把模型更新带来的变化同步写入条令、训练和使用程序。
●保住不用AI的本领。训练既要讲自动化偏见和有根据的信任,也要反复练习模型失真、连接中断和人工接管,确保系统超出能力边界时,人员仍能识别问题并继续完成任务。