人工智能管理标准解析

人工智能是一项具有颠覆性的技术，在为社会发展创造新机遇的同时，也伴生着难以预见的风险，使人类在伦理、隐私与安全等方面面临新的考验。国际标准化组织（ISO）与国际电工委员会（IEC）近日联合发布了 ISO/IEC 42001人工智能管理标准。该标准提供了一个可认证的人工智能管理体系（AIMS）框架，在这一框架下，人工智能体系作为人工智能保证生态系统的一部分进行开发和部署。

ISO/IEC 42001 的思路与ISO 9001质量管理体系标准以及ISO/IEC 27001信息安全管理体系标准相近，提供了风险管理和操作管理方面的最佳实践、规则、定义与指引。包括如下几个部分内容：

1.适用范围；

2. 援引规范；

3.术语和定义；

4.组织环境；

5.领导力；

6.策划；

7.支持；

8.运行；

9. 绩效评估；

10. 改进；

附录A 控制目标和控制措施

附录B 控制措施实施指南

附录C 与人工智能有关的组织目标和风险源

附录D 人工智能管理体系的跨行业应用

（1）明确组织在人工智能中的角色定位

在搭建人工智能管理体系时，组织首先要界定自己在人工智能系统中的角色，并据此建立和落实管理体系相关内容。下图展示了人工智能系统各方的角色关系，组织在进行角色界定时可作为参考。

（2）识别组织面临的内外部问题

完成角色定位后，组织还应进一步梳理人工智能管理方面所面临的内外部情况，以便为管理体系建设提供必要输入。

（3）理解相关方的需求与期望

组织应识别与人工智能管理相关的利益相关方，并把握各方对人工智能系统的管理需求和预期。若组织是人工智能平台提供商，则需兼顾平台用户、合作伙伴以及合规监管机构的需求，这些需求可能涉及个人隐私保护、事件处理透明度、合规管理等。

（4）制定人工智能管理方针

与其他管理体系标准一致，组织在建立人工智能管理体系时，最高管理者应制定人工智能领域的管理方针。典型方针可涵盖：

目标与原则、数据管理、系统设计、透明性和可解释性、伦理与法律合规、培训教育、监督与评估。

（5）开展人工智能风险评估，并评定系统可能造成的影响

组织应识别、分析并评价人工智能风险。要建立风险评估流程，明确风险准则，并依据流程和准则实施评估。对于不可接受的风险，应参考附录A选择相应控制措施，制定详细的风险处置计划，并依据控制措施选择结果形成《人工智能管理体系适用性声明书》。具体方法可参考国际标准化组织于2023年初发布的《ISO/IEC23984:2023 信息技术 - 人工智能 - 风险管理指南》。

（6）人工智能目标管理

组织在策划人工智能管理体系时，应结合内外部环境分析、相关方需求与期望以及风险评估结果制定管理目标，并明确达成目标所需的措施、责任人和时间安排。

（7）人工智能管理体系标准中的“支持”条款

该标准还规定了保障管理体系有效运行所需的支持性要求，也可理解为赋能要求，包括资源、能力、意识、沟通以及文件化信息。

（8）人工智能管理体系运行

管理体系运行部分的要求与ISO27001:2022信息安全管理体系标准几乎一致。人工智能管理体系的运行取决于风险评估结果和风险处置要求，而风险处置措施的落实就是体系运行的核心；风险处置内容实际上对应附录A中的控制措施。

（9）人工智能管理体系绩效评估与持续改进

该部分要求与ISO27001:2022信息安全管理体系标准相同。标准明确要对管理体系绩效进行持续监视、测量和评价，定期开展内部审核，由高层管理者定期评审体系的适宜性、有效性和充分性，并对运行、绩效评估、内审、管理评审等过程中出现的不符合进行纠正和纠正措施处理，从而持续提升人工智能管理体系的适宜性、充分性和有效性。

ISO42001 人工智能管理体系标准的“附录A”明确了企业在人工智能系统设计与运行中应落实的控制目标和控制措施，各项措施的应用程度取决于人工智能系统的风险评估结果。ISO42001 人工智能系统控制目标与控制措施：九大控制域：

1、人工智能方针（政策）

2、内部组织管理

3、人工智能系统资源

4、人工智能系统影响评估

5、人工智能系统生命周期

6、人工智能系统数据

7、人工智能系统相关方需了解的信息

8、人工智能系统的使用

9、第三方关系

1、人工智能方针（政策）

标准要求组织制定人工智能方针，并确保其与组织在质量、信息安全、健康与安全及个人隐私保护等其他领域的方针保持一致，同时应定期对方针进行审查。

2、内部组织管理

在组织内部建立问责机制，清晰界定人工智能系统运行和管理的各项职责。

需要考虑采取以下控制措施：

根据自身需要定义人工智能相关的角色与职责，这些角色与职责可能涵盖人工智能风险评估、个人隐私保护、健康与安全、供应链管理等，并将其分配到相应职能中。

在明确角色与职责后，组织还应建立有效的报告机制，确保员工能够及时报告人工智能生命周期中的关注事项，这些事项涉及人工智能生命周期的各个环节。这里的关注事项通常指人工智能安全漏洞、系统可能引发的伦理问题等。

3、人工智能系统资源

组织应对人工智能所需资源作出详细说明，以便充分理解并应对人工智能面临的风险与影响。需要对人工智能系统相关资源进行管控，这些资源包括：人工智能系统组件、全生命周期涉及的数据、人工智能开发和应用工具、系统与计算资源、人力资源以及所需技能。不仅要配备这些资源，还要对其进行全面识别、形成文件，并随着人工智能系统变化持续更新。

4、人工智能系统（负面）影响评估

组织应在人工智能系统生命周期内，对其可能对利益相关方造成的（负面）影响进行评估。需要建立人工智能系统（负面）影响评估流程，明确评估职能、评估时点以及评估应考虑的内容等。按照所建立的流程，对人工智能系统在各生命周期阶段对个人、群体及社会可能带来的（负面）影响进行评估，并将结果形成正式文件。

5、人工智能系统生命周期

确保组织在人工智能系统的设计与开发过程中识别并形成文件化的管理目标，同时落实各项管控流程。

1）负责任地开发人工智能系统：确定管理目标并形成文件，用于指导开发可信赖的（trustworthy）人工智能系统。标准中的“可信赖（trustworthy）”是指“人工智能系统能够在无偏见或歧视的情况下，以可预测且可靠的方式做出正确决策”。

2）定义人工智能系统的设计与开发过程：为确保组织设计与开发的人工智能系统具备可信赖特征，组织需要明确设计与开发的各项具体流程，并将其文件化。

3）明确人工智能系统的需求与规格：对于新的人工智能系统或对现有人工智能系统的实质性增强（material enhancements），需要明确设计与开发需求及规格。

4）确保人工智能系统的设计与开发过程形成文件：人工智能系统的设计与开发过程应进行文件化，目的是证明开发与设计过程符合组织目标、设计开发需求、规格及准则。

5）对人工智能系统进行验证和确认：应对验证与确认措施进行定义并形成文件，同时规定相应的使用准则。

6）对人工智能系统的部署进行管控：需要制定人工智能系统部署计划，确保在正式投产前各项要求均已满足。

7）对人工智能系统的运行和监视进行控制：为保证人工智能系统持续有效运行，组织需要定义必要的控制要素并形成文件。这些要求至少应考虑系统和运行表现监视、修复、更新及支持。

8）确定所需的人工智能系统技术文件：针对不同类别的利益相关方，组织应明确他们所需的人工智能系统技术文件，并以合适形式向其提供。

9）对人工智能系统的事态日志进行记录：人工智能系统在运行过程中，在需要时应启用自动保存事件日志的功能。

6、人工智能系统数据

确保组织充分理解数据在人工智能系统生命周期各阶段所发挥的作用及其影响。

1）管理人工智能系统开发及优化的数据：定义人工智能系统数据管理流程，将其文件化并付诸执行。

2）数据获取控制：针对人工智能系统所使用的数据，组织应确定这些数据获取或选用的详细信息，并形成文件。

3）人工智能系统数据质量控制：针对人工智能系统开发与运行所用数据，组织需要明确这些数据的质量要求，以确保其满足既定标准。

4）数据