人工智能系统保障框架

美国国防部（DOD）希望加快人工智能能力在各类国防场景中的研发与落地，以保持战略优势。不过，人工智能算法那些让其更强大的共性特征——例如学习能力、海量数据吸收和复杂问题求解——也带来了新的技术、安全与伦理难题。由于开发、测试、保证、流程和需求等方面仍存在不确定性，这些问题可能影响其推广。要让人工智能真正产生预期价值，建立可信保证至关重要。本文提出一种基于声明的风险管理与人工智能系统保证框架，用以协调快速部署、顺利采纳与严格评估之间的矛盾需求。该框架适用于所有采办路径，能够为人工智能使能系统（AIES）在整个生命周期内实现预定任务目标且不引入不可接受风险提供充分信心。文章贡献包括：一套人工智能保证框架流程、一组便于围绕人工智能保证开展建设性讨论的相关定义，以及对人工智能保证关键考量的分析。该框架旨在为美国国防部提供一种稳健而高效的机制，使其在不忽视关键风险或削弱利益相关方信任的前提下，快速部署有效的人工智能能力。

关键词：人工智能，人工智能保证，基于声明的保证，风险管理，机器学习，自主系统，测试与评估，安全与安保，DODD 3000.09指令，系统之系统，持续监督，生成式人工智能，对抗性机器学习，法律合规，开发安全运维，机器学习运维集成

美国国防部已经认识到，人工智能在增强任务关键系统方面具有颠覆性潜力，可用于提升决策支持、强化态势感知并实现自主作战。从情报分析或后勤管理中的数据处理，到陆、空、海环境里的复杂自主平台，人工智能使能系统（AIES）都能够以更高速度和精度应对快速变化的威胁。

人工智能的作用覆盖了广泛的国防应用场景。一些AIES聚焦于分析与决策支持，将来自不同数据流的信息整合起来，并输出洞察以辅助人类决策者。另一些则具备更高程度的自主性，人类参与方式可以是人在环、人在回路上或人在回路外。人工智能能力还可驱动空中、陆地或海上领域的无人平台，使其能够在无需人类逐步干预的情况下适应不断变化的任务参数。在许多情形下，人工智能组件会运行在条件快速变化、输入可能偏离训练数据以及可能出现意外场景的环境中。尽管客机降落在高速公路上的概率极低，自动驾驶汽车也应当能在这类罕见事件中避免碰撞。

然而，正是赋予人工智能强大能力的那些特质——学习能力、大规模数据摄取以及问题求解能力——也引发了新的技术、安全和伦理问题。AIES可能出现漂移，例如由输入数据漂移、传感器性能下降、执行器故障或材料疲劳所导致。一些人工智能算法被设计为随时间持续学习（在线或增量式学习），这在功能上本身就是AIES内部的一种漂移。鉴于这些复杂性，许多最初围绕确定性软件或硬件系统建立的传统测试与评估、安全和网络安全流程，可能并不足够。习惯于验证确定性软件系统的防务机构可能会发现，他们尚未准备好应对许多AIES所具有的复杂性、可变性、脆弱性、不确定性、脆弱性和不透明性。尽管存在这些挑战，为了保持竞争力，美国国防部仍必须比历史上更快地部署基于人工智能的解决方案。许多潜在的人工智能方案由于开发、测试、保证、采办、流程和要求方面的不确定性，采用速度一直偏慢。

本文介绍了一个面向人工智能系统的风险管理与保证框架，旨在兼顾系统全生命周期中的速度与严谨两项要求。为便于理解和保持一致，第2节给出了相关术语定义。该框架以清晰的“保证声明”为核心，提供一种系统化方法来汇集给定AIES的全部相关证据，从训练数据