人工智能安全管控义务及其刑事归责探析
编者按：
论人工智能安全管理义务及其承担者的刑事责任
同济大学法学院教授
本文发表于《中国法学》2026年第2期，因篇幅限制，注释省略。作者身份信息为发文时信息。
针对人工智能系统自主判断与操控所引发的损害结果，现有法律框架存在明显缺失。单纯依赖民商事与行政法律机制，难以有效阻止这类严重损害，必须动用刑事法律手段予以应对。在刑事治理路径选择上，将AI系统作为犯罪主体的学说缺乏可行性，而针对妨害AI安全管理秩序的刑事立法路径能够平衡人工智能安全与进步，其中，通过设立违反人工智能安全管理义务罪的立法模式能够有力防范前述损害。人工智能安全管理义务是为防控AI安全风险而设定的专门且受限的规范义务。为严厉惩处严重违背该义务的行为，应当在刑法中增设违反人工智能安全管理义务罪。在犯罪构成设计上，应立足于义务犯、风险分配等刑法理论，以切实降低AI安全风险为标尺，科学设定该罪的AI安全管理刑法义务、主体与罪过等核心要素。
人工智能安全 风险 安全管理义务 义务犯 规范责任
一、人工智能危害治理的法律路径
二、人工智能安全管理义务的性质与类型
三、人工智能安全管理义务承担者的刑事责任
随着人工智能的广泛部署，社会各领域均面临AI安全风险。在AI系统自主决策、自主操控的情境下，作为违法犯罪构成要素的行为主体与主观要件已然“虚化”，依据现行法律无人需对损害后果承担法律责任，致使AI安全风险呈现制度性失控态势。以规范人类行为为潜在准则且秉持促进人类伦理互动价值观的现行法律体系，在此遭遇根本性规制失灵。人工智能安全事关国家安全、社会公共安全及公众合法权益，必须在兼顾推动AI快速发展与保障安全的基础上，为AI安全发展供给充分的法律保障，涵盖刑法保障。
一、人工智能危害治理的法律路径
人工智能危害呈现多种形态：第一类为利用AI技术实施违法犯罪，如利用智能飞行器进行偷拍、伤害乃至杀人；第二类为AI系统研发应用过程中侵犯数据安全与个人信息权益的违法犯罪；第三类为AI系统自主决策、自主操控造成危害后果，如生成式AI传播虚假有害信息、完全自动驾驶车辆导致人员伤亡等。我国现行刑法可规制前两类危害，对第三类危害则“鞭长莫及”。
（一）人工智能危害的法律治理主张
人工智能危害的刑法治理是人工智能危害法律治理体系的关键构成，二者在治理策略与逻辑上须保持一致，方能构建各部门法相互衔接配合的、体系化的法律治理架构。针对前述第三类危害的法律治理路径，主要存在人类代理说、产品责任说、拟制主体说、安全管理义务说四种学说。
1.人类代理说
人类代理说主张，AI系统的功能与决策模式可追溯至系统的设计、编程与知识储备，人类定义、引导并最终掌控系统的研发与应用，无论系统多么复杂，其本质均为人类使用的工具，不具有法律人格，应当作为人的代理，由自然人或其集合体对AI系统引发的损害承担责任。例如，在“达芬奇”等手术机器人自主手术致患者损害案件中，应追究机器人制造商、医院的责任而非手术机器人本身的责任。
该观点未考量AI系统自主运行的事实。确存在AI系统运行未遵循人类指令、不受人类控制或超出人类控制范围的情形，如L5级自动驾驶车辆完全自主行动，其自主决策场景中部分情况是研发设计与应用人员无法预见的，更遑论控制。完全自主的AI系统处于无人类参与或干预的独立“感知—分析—行动”的“行为状态”，“能够独立主动地制定自身计划”，有学者认为其更适合被视为人而非机器。笔者认为，人工智能的自主性动摇了人类代理说的事实根基。除代理人须为自然人或其集合体外，一般情况下代理人应按委托人指示行事，表见代理与紧急情形属于特例，而AI系统的完全自主活动并不限于前述特殊情境，而是一种常态，不符合代理的构成要件，将损害后果归责于其使用者或生产者，缺乏事实与法律依据。
2.新产品责任说
新产品责任说主张构建AI产品的新型严格责任制度，生产者应对教会系统“思考”的附生后果（即造成不可预见损害）承担严格责任。AI系统自主行动引发的损害应归因于产品制造缺陷、设计缺陷或编程不善等。然而，AI系统更为复杂，即便依据“消费者期望”与“风险效用”标准，证明存在上述缺陷亦十分困难，导致受害人因举证不能而无法获赔。对此，该学说认为，若能排除人为责任（如驾驶位人员或安全监督员的过错责任），即使无法查明AI系统存在缺陷，当事故达到一定频率且呈现共同特征时，应认定为产品缺陷。此外，AI系统由多方提供技术与设备，如无人驾驶车辆的自动驾驶系统、雷达与激光传感器等，这些软硬件设备易出现无法检测的故障，特别是AI算法系统具有不可解释性、不可预测性。仅追究AI系统生产者的责任有失公允，应将AI系统关联企业按“共同企业”对待，追究部分企业的连带责任，以解决无法将故障归因于特定企业或自然人的追责困境。
持相似新型严格责任观点的学者认为，事实因果关系与法律因果关系的检验遭遇AI黑箱障碍，应通过对AI创造者施加更高标准的注意义务，对违反该义务、威胁公共安全的行为按严格责任原则追究法律责任，目的在于“允许超越因果关系检验，将相关损害与创造者的过失行为关联”，以平衡AI发展与安全需求。
笔者认为，该观点虽认识到AI系统的自主性与复杂性，以及依传统产品责任制度追责的缺陷，但存在以下不足：其一，对产品故障或缺陷进行推定认定，并延伸责任追究的因果链条，要求AI系统生产者及为其提供技术或零部件的上游企业承担连带责任的观点，实质是要求这些单位在未被证明有过错的情形下承担补偿义务，既偏离了现行产品责任与侵权责任的法治轨道，也未解决相关企业间的责任分配问题。其二，仅对AI系统生产者施加注意义务及按严格责任制度追究法律责任，无法降低AI系统交付后因其自主学习产生的安全风险，未考量使用者直接监督系统运行的作用。其三，AI的自主性导致其不可预测，生产者对损害后果缺乏预见与预防可能，而依照严格责任制度及其理论，唯有AI系统的自主决策与活动是可预测的，令生产者承担严格责任方为公平。其四，受AI系统侵害的不仅有被害人的财产性利益，还可能涉及生命、健康及其他重要权益，仅令生产者及相关企业进行民事赔偿或补偿，不利于保护公众生命、健康等重大法益。历史上已有教训，在巨大产业利益诱惑下，单纯依靠民事赔偿不足以有效控制安全风险。
3.拟制主体说
拟制主体说认为，生产者无法预见AI系统的全部“行为”，应承认后者具有法律能力（legal capacity），因其在功能上能够“有目的地行事”，展现出所谓“道德的”“法律的”能力。人们像对待自然人般对待拟人化的机器人，应赋予后者权利使其免受人类虐待。拉丁语“人格”（persona）原意即为面具或角色，既然可承认各类非自然人主体（如公司）的法律人格，对比公司法人更“实在”的AI系统亦可赋予其法律人格并制定制裁措施。持该学说的学者认为，AI系统可被追究民事与刑事责任，并建议增设删除系统软件、限制自由、社区服务与罚款等专门刑罚。还有学者将AI系统的法律拟制人格区分为伦理人格与技术人格，认为AI的人格将“以技术人格的探索为先导，逐步进行伦理人格的塑造，人类或机器人的伦理人格最终成为技术人格的归宿”。拟制人格说曾获国外立法机构响应，2017年欧洲议会提交《关于机器人的民法规则的决议》，呼吁欧盟委员会在AI立法中，“为机器人创设特定法律地位，至少最复杂的自主机器人可被确立为具有电子人地位，使其能够负责弥补可能造成的任何损害，并将电子人格适用于机器人自主决定或与第三方独立互动的情形”。
笔者认为，该学说存在以下不足：其一，AI系统与公司法人不可比，前者不具有独立于自然人或法人的独立利益。其二，未来将有数以亿计的自主AI系统投入应用，授予其主体资格的现实性与可行性存疑。即便可行，能否消除AI危害及其效率同样存疑，反而会因免除或弱化现有法律主体防控安全风险的责任，导致“有组织的不负责任”。其三，采纳该学说需对现行法律制度作重大修改，须制定适用于“第三类法律主体”的法律制度，法律变革成本高昂，效益低下，难以与现行法律制度保持协调。对AI系统追究刑事责任，无法实现刑法的目的与任务，与犯罪、刑事责任与刑罚基本制度不相容。
4.安全管理义务说
安全管理义务说认为，AI系统是自主性机器与人类的工具，AI系统安全管理义务承担者应确保其安全并对其损害后果负责。美国《人工智能倡议法》与欧盟《人工智能法》均将AI系统定义为“基于机器的系统”，要求“AI系统被开发与用作服务于人类、尊重人类尊严与个人自主权的工具，并以可被人类适当控制与监督的方式运作”（欧盟《人工智能法》引言第27条）。后者还制定了AI安全风险防控制度，要求AI系统提供者、部署者及其他相关方承担安全管理义务与相关法律责任。以上法律既未赋予AI系统法律人格，也未规定其法律责任。我国AI发展战略文件及相关立法持相同立场，我国提出的《全球人工智能治理倡议》要求“确保人工智能始终处于人类控制之下，打造可审核、可监督、可追踪、可信赖的人工智能技术”，《互联网信息服务深度合成管理规定》等将AI系统作为防控对象，要求AI系统提供者及其他相关方承担安全风险管理义务。该观点客观反映了AI的特性，能有效防控AI危害，符合促进AI安全发展的国际共识，对现有法律体系的冲击较小，对AI危害的法律治理具有重要的指导作用。
以上四种观点的共同不足在于，主要依赖民事、行政手段治理AI危害，解决被害人的赔偿或补偿问题，无法遏制严重危害。事实上，AI危害不仅威胁公众的生命、健康与财产安全，还严重危害社会公共安全与国家安全，民事、行政法律手段不足以遏制严重的AI危害，有必要为AI安全提供刑法保障。
（二）人工智能危害治理的刑法路径
对于AI危害的刑法治理，前述第三类AI危害客观上无法归因于自然人的行为，主观上无人对其有过错，不能采用人类代理说。由于主客观相统一原则是我国刑法的基本原则，故亦不能采纳产品严格责任说。目前以下两种学说较具影响力。
1.人工智能系统犯罪主体说
该学说认为，AI系统自主决策并直接引发损害后果，可将其拟制为犯罪主体，并依照现行刑法追究刑事责任，这契合目的刑与报应刑的立场。通过对AI系统定罪并处以特定刑罚，如限制应用、删除数据、修改或销毁系统等，可剥夺AI系统的再犯能力，威慑其他AI系统，还可促使其所有者制止危害，避免其系统被处罚而遭受损失。对AI系统处以与其危害相当的刑罚，支持被害人权益，可安抚被害人情感，表达官方谴责，恢复公平正义与社会安全感。
该学说实际上难以施行，首先面临主体资格障碍。刑法仅处罚具有罪责能力的行为人，罪责能力是刑法适用的必要条件，AI系统不具有刑法上认识与意志的生物学与社会学基础，既无意识与感觉，也无利益或幸福，不满足犯罪主观要件的根基，不具有受刑法处罚的资格。为解决此问题，学者们尝试了多种理论工具，主要有：
（1）雇主责任理论。该学说认为，公司是拟制的犯罪人，本身不具有可谴责能力，借助雇主责任理论，刑法赋予公司可谴责的主观状态。公司雇员在受雇范围内行事且服务于公司利益，雇员的主观状态被视为公司的主观状态，对公司定罪处刑不违反法治原则。按此理论，AI系统亦可被赋予罪过状态与罪责能力。笔者认为，AI系统自主决策与公司决策机制不同，系统的提供者、使用者、所有者对危害并无罪过，何以作为AI系统罪过状态与罪责能力的依据？该理论无法解决AI系统罪责能力问题。
（2）客观责任理论。该学说认为，从结果主义立场出发，缺乏有罪精神状态亦可定罪，“可能发展出合理的客观标准作为AI罪责能力的判断依据”，无罪过心态的AI系统也可追究刑事责任。笔者认为，即便是严格责任犯罪，作为刑法意义上的行为也必须基于精神状态，应维护这一现代刑法制度的基础。行为首先是能够归于作为心理与精神动作中心的自然人的一切，是“人格表现”。AI系统无精神状态，其行动不能被评价为刑法上的行为，否则将颠覆刑法谴责有罪行为的理论基础。
（3）AI系统的特别犯罪意图理论。该学说认为，罪责性是有罪心理以不尊重法益的方式表现出来，即以行为表现，而非动机、思想与感受方面的细微差别，来证明有罪心理状态。法律允许以公司员工收集信息与决策的行为，认定公司存在不尊重法益的罪责心理，那么，也可采取类似方式认定AI系统的罪责心理。例如，自动驾驶系统检测到道路上的运动目标，若其控制汽车驶向目标而非减速或避让，可依据检测数据与控制信息等，证明该汽车有促成损害结果发生的罪过心理。自然人对某事的真实性有充分稳定、强烈的倾向时，即可认为有认识，那么，AI系统有同样倾向时，也应认定系统有认识。该学说主张依上述规则认定AI系统的罪过心理，并制定认定AI系统犯罪的司法规则。笔者认为，该理论存在转移问题的嫌疑，将待证明的结果作为证明前提，是先假定AI系统存在罪过心理，而后提出认定罪过的规则，并未解决罪过的存在问题。
其次，AI犯罪主体说的施行面临可罚性障碍。刑罚的本质是“给受罚人以痛苦的制裁措施”。此处的“痛苦”应理解为使受刑者感受到痛苦，或其他通常被认为是不愉快的后果，后者包括一般人认为不愉快但并未使受刑者不愉快的后果。这两种形式的痛苦均源于对受刑者利益的限制或剥夺，即便受刑者不因利益被限制或剥夺而感到痛苦，客观上仍对其造成不利后果。AI系统无法感受痛苦或不愉快，尽管丧失能力或被摧毁在客观上剥夺系统利益，可认为是对系统的刑罚，但利益由欲望与目标构成，二者以看法与意识为前提，受刑者至少应有快乐与痛苦的体验，方能真正拥有利益。AI系统不具有真正的认知与意识能力，不具有纯粹意义的利益，对其利益的剥夺亦难言是刑罚。
也有学说主张将定罪与处刑分离，处刑不作为定罪前提。例如，对公司无法处以生命刑、自由刑等，不影响对公司定罪，刑法规定由主管人员与直接责任人替代公司受罚。对AI系统定罪后，也可由其提供者、使用者、所有者替代受罚。即便AI系统不具有可罚性，从结果主义立场看，对其定罪亦有意义，能够表明刑法对AI犯罪的严厉谴责。笔者认为，刑法规定对单位犯罪的刑罚中，对公司主管人员与直接责任人员的处罚，不应被定性为替代公司受罚，以上人员与公司的关系也不同于AI系统与其提供者、使用者、所有者的关系，因为前者的行为与心态产生公司意志，而后者则无此决定能力。而且，无刑事责任的定罪违反罪责刑相适应原则，无法实现维护公正与预防犯罪的目的。
2.妨害人工智能安全管理秩序犯罪说
AI系统是新型工具与治理对象，AI安全是AI时代的新型公共安全。为保护AI安全，我国正在构建AI安全管理制度，建立AI安全管理秩序，要求相关人员遵守AI安全行为规范，防控AI安全风险。为惩治严重侵犯AI安全的行为，我国应设立妨害AI安全管理秩序犯罪，对严重违反前述行为规范的行为追究刑事责任。妨害AI安全管理秩序犯罪包括滥用AI犯罪与违反AI安全管理义务犯罪。前者不同于传统犯罪的智能化，侵犯的不是传统法益而是新型利益，如滥用AI操纵自然人以损害其合法权益、对自然人进行生物识别分类、不公正的社会评分、风险分析、人脸采集、情绪分析等行为，不构成现行刑法中的犯罪，却严重损害公众的自由、生活与工作等利益。后者是为防控AI安全风险而设置的犯罪。AI系统具有自主、智能特性，传统产品安全保障制度无法控制其安全风险。AI安全风险源于研发并沿其价值实现链扩散，AI研发、生产、提供、部署、终端使用各方对风险形成、扩散具有原因力，且具有直接管控风险的能力，应承担安全管理义务。设立义务犯罪可督促相关人员切实履行前述义务，防控严重风险，保障AI安全。AI安全与网络安全、数据安全是具有相似信息技术特性的新型集体法益，我国《刑法》将危害网络安全的犯罪规定于“妨害社会管理秩序罪”一章的“扰乱公共秩序罪”一节中，设立了拒不履行信息网络安全管理义务罪等妨害信息网络安全管理秩序犯罪，妨害AI安全管理秩序犯罪侵犯的是同类客体，均为现代社会环境下的新型公共秩序。
该学说具有合理性。首先，该学说与国际社会治理AI安全的方向一致。《全球人工智能治理倡议》要求“明确AI相关主体的责任与权力边界”，“确保人工智能始终处于人类控制之下”。欧盟《人工智能法》将AI系统定性为自主性工具，建立了类型化、全过程、多方协作的安全风险防控制度。妨害AI安全管理秩序犯罪立法的立场与路径与前述二者一致。其次，该学说客观反映了AI危害的形成与防控规律。无论采取何种技术方法、何种自主性程度的AI系统，提供者与部署者对于系统导致的危害或风险具有引起或扩散作用，若具备风险管理能力，理应承担防控责任，设置以上犯罪能够督促其履行防控义务，有效降低安全风险，符合AI危害的形成与防控规律。最后，该学说能够兼顾保护法益与保障AI发展。该立法主张依据风险防控理论，兼顾AI安全与发展，既能有效降低安全风险，又按风险高低分类设置行为规范，采取基于风险的差别化刑法应对，能够最大限度地保障AI发展。
在妨害AI安全管理秩序犯罪中，滥用AI系统犯罪与违反AI安全管理义务犯罪是两类不同犯罪，后者能够遏制第三类AI危害，是本文主要研究内容。
二、人工智能安全管理义务的性质与类型
AI安全相关人员履行安全管理义务能够有效降低风险，违反AI安全管理义务的犯罪立法能够惩治严重违反安全管理义务的行为，为AI安全管理制度提供刑法保障。AI安全管理义务是该类犯罪的构成要件要素，也是国内外AI安全立法的重要内容，有必要研究其性质与类型。
（一）人工智能安全管理义务的性质
设置AI安全管理义务旨在防控安全风险，有必要明确AI安全风险的内涵。风险是指“与未来损失相关的不确定性”，预防风险即降低损失发生的可能性或损失程度。欧盟《人工智能法》第3条第2款将风险定义为“发生危害的可能性与危害严重性的组合”，与危害发生的概率及危害的严重性正相关。风险是可能发生的危害，若某活动确定造成危害后果，其引起的不是风险而是确定的损害，应予制止。风险意味着蕴含利益的机会，仅能采取措施控制风险，而不应禁止有风险的活动，否则会丧失获取利益的机会。AI安全风险可定义为AI研发、生产、提供、应用过程中发生危害的可能性与危害严重性的组合，具有全领域渗透性、不可预见性、网络传播性等特点，能够在社会各领域造成难以有效控制的严重后果。防控传统风险的法律制度因不适应其特点而难以有效控制，无法为社会公共安全和公众合法权益提供充分保障，有必要建立新的风险防控制度。
现行刑法无法规制前述第三类危害的原因，在于相关人员的行为与损害后果之间不存在刑法上的因果关系，无因果关系则无法适用现行刑法规定的犯罪。由于AI系统自主、直接引发损害后果，故其研发、生产、提供与使用方的行为与损害后果之间无因果关系。以机器学习算法为例，该算法基于训练数据中的相关性，如ChatGPT的算法逻辑是基于数以亿计的参数，对海量训练数据加权统计后形成复杂的关联关系。从最初的算法设计者到终端用户，各方行为对算法的生成与演进不起决定性作用，不能评价为原因行为。因欠缺因果关系，依照现行法律无法要求前述人员对损害后果承担法律责任。若将因果关系泛化为相关关系，则与条件说无异，实质是“舍弃因果关系要件设定针对违法行为本身的责任，以此跳过因果联结及可追溯性难题”，将导致AI安全风险防控主体范围的过度扩张，动摇现行法律责任制度的理论基础。因此，“以人的活动为中心”的社会环境下发展起来的因果关系理论，在智慧社会环境下无法为解决AI危害的法律治理困境提供理论指引。唯有改变按结果犯、支配犯治理的思维定式，在AI安全治理领域完成基于风险的、义务导向的归责模式转向，方能摆脱当前治理困境。
对AI安全相关人员施加安全管理义务，在当前情形下是治理前述第三类AI危害唯一可行的选择，规范责任理论可为其提供理论支撑。从现实情况看，要有效降低AI安全风险，只能通过AI安全相关人员履行安全管理义务来实现。从法律规范看，设立安全管理义务是AI安全保障体系发展的必然结果。为保障AI安全，国家必然要制定AI安全管理制度，设定AI安全相关人员的行为规范。AI安全管理义务是对其设定的特殊规范义务，对有能力遵守而故意违反行为规范的行为人追究法律责任。刑法学中的规范责任理论可为以上法律制度提供理论支持，其主张承担刑事责任的根据是“违反义务实施违法行为的决意”，包括责任能力、故意或过失以及“行为人存在适法行为的期待可能性”，违反规范义务即应承担相应法律责任。
不过，AI安全管理义务不同于传统的规范责任，是有限的规范责任。其原因主要有两方面：其一，因AI系统自主性引起的损害后果与前述人员行为之间仅有非直接的、弱相关关系，而非因果关系，依照现行法律其不应对损害后果承担法律责任。从义务规范角度对义务承担者施加的责任，亦应与其影响风险的作用与防控能力相适应，较之于传统的规范责任应有所限缩，以区别于传统义务犯的义务。其二，AI安全风险沿价值链扩展，从系统提供者、使用者到终端用户，各方仅面对其所在阶段的风险，按照风险与注意义务分配的对应关系，仅应对部分风险承担防控责任。对于应追究法律责任的危险或实害而言，各方承担的风险防控责任，既要与其所在阶段的风险大小成比例，也要与其地位与防控能力成比例，否则违反比例原则中的均衡性原则。因此，AI安全管理义务应是为防控风险所必要的、适度且有限的规范责任，与相关人员引起或扩散风险所起的作用或防控风险的能力成正比。
AI安全管理义务与信息网络安全管理义务均属安全管理义务，但二者有本质区别：（1）法律性质不同。前者是对“物的安全”的管理义务，防控作为工具的AI系统自主运行引发的安全风险，近似于生产作业安全管理义务。后者是针对“人的活动”的监督管理义务，防止他人实施违法犯罪。有论者在讨论生成式AI产品提供者的安全管理义务时，将该义务限于提供者对他人利用其产品进行违法犯罪活动的管理义务，即后者义务。生成式AI服务提供者同时也是网络信息服务提供者，当然应承担信息网络安全管理义务，但该义务不同于AI安全管理义务。（2）义务根据不同。后者的设立根据是网络服务提供者的保证人地位，即“保护他人法益不受来自于自己控制领域的危险威胁的义务。这种对于危险源的控制是不作为犯的义务”。前者的设立根据是AI安全相关人员引起或扩散AI安全风险的客观事实与保护社会安全的需要，以上人员并不具有保证人地位。（3）保护法益不同。前者直接保护的是AI安全，间接保护的法益范围广泛，如公共安全与公众合法权益等，而后者保护的是公共信息网络安全管理秩序。由于以上区别，不应对违反前者义务的行为适用拒不履行信息网络安全管理义务罪。
（二）人工智能安全管理义务的类型
国内外AI安全立法均规定了AI安全管理义务。欧盟《人工智能法》规定了基于风险的AI安全管理义务制度，针对AI系统与通用AI模型两类防控对象，将义务承担者分为提供者、部署者、欧盟内授权代表、进口者、经销者等，从防控对象与义务承担者两个维度规定了不同的义务类型。美国《人工智能倡议法》提出发展“可信的AI系统”，算法应满足“可解释性”“能够识别与缓解AI系统中偏见的分析方法”“具有安全、稳健性”等要求，美国联邦政府还发布了《推进国家安全领域AI治理与风险管理的框架》，规定了基于风险的AI应用分类管理制度。近年来我国制定了《互联网信息服务深度合成管理规定》《生成式AI服务管理暂行办法》《人脸识别技术应用安全管理办法》《AI生成合成内容标识办法》等规章，规定了AI生成内容信息与人脸识别技术应用相关安全管理义务。对比以上规章，欧盟《人工智能法》规定了全面、完整的安全管理义务体系，我国的规定与之相似。以下主要将欧盟《人工智能法》规定的义务类型与我国相关规定进行比较。
1.人工智能系统安全管理义务
欧盟《人工智能法》将AI系统分为高风险AI系统、非高风险的特定AI系统与其他AI系统，对前两种系统的相关人员规定了不同的安全管理义务，鼓励与促进制定针对第三类AI系统的行为守则，并提倡相关人员自愿遵守该法要求（第95条）。
（1）高风险AI系统安全管理义务
高风险AI系统是指对人的健康、安全或基本权利造成伤害的风险高，且用于该法规定领域的AI系统（第6条第1—3款），是欧盟《人工智能法》的主要防控对象。该类系统的提供者、部署者及其他方被要求承担较多安全管理义务。
为确保高风险AI系统投放市场或投入使用不会对欧盟法律所认可与保护的重要公共利益构成不可接受的风险（引言第46条），欧盟《人工智能法》要求高风险AI系统符合以下7项要求：（1）建立实施、记录与维护风险管理系统；（2）数据治理；（3）提供技术文件；（4）自动记录日志；（5）保持透明度；（6）适合人工监督；（7）保持系统的准确性、鲁棒性与网络安全（第8—15条）。此类系统提供者的义务是确保高风险AI系统符合这些要求，此外，提供者还须承担以下6项义务：（8）遵守一般管理程序要求；（9）建立质量管理体系；（10）制作、保存并随时向国家主管机构提供该法第18条规定的文件；（11）保存日志数据；（12）对不符合要求的高风险AI系统采取必要的纠正措施；（13）与主管机构合作（第16—21条）。在以上义务中，对降低安全风险发挥实质性作用的是（1）（2）（5）（6）（7）（12）项义务，其它义务为监管程序性义务。在我国前述规章中，仅《人脸识别技术应用安全管理办法》中的人脸识别设备符合欧盟《人工智能法》规定的高风险AI系统。但该办法不适用于“为从事人脸识别技术研发、算法训练活动应用人脸识别技术处理人脸信息”的行为，未规定人脸识别技术系统提供者的安全管理义务。若系统提供者同时又是系统使用者，则适用该办法，其地位相当于欧盟《人工智能法》中的高风险AI系统的部署者。
高风险AI系统的安全风险既源于系统设计，也来自系统使用。部署者对系统使用环境、可能受影响的人或群体包括弱势群体有更准确的认识，更了解高风险AI系统的具体使用情况，能够发现开发阶段未预见的潜在重大风险，提供关于危险的信息，这对弥补提供者的义务缺漏、防控安全风险能够起到关键作用。欧盟《人工智能法》对部署者规定了以下12项义务：（1）遵守使用说明；（2）安排适格人员进行人工监督；（3）控制数据输入以符合预期目的；（4）监控系统运行；（5）保存自动生成的日志；（6）告知受影响的雇员；（7）注册登记；（8）评估数据保护状况；（9）对特定对象遵法使用系统；（10）告知系统的使用对象；（11）与相关国家主管机构合作等；（12）评估高风险AI系统可能对基本权利的影响（第26、27条）。其中，第（1）（2）（3）（4）（6）（9）（10）项义务是在应用阶段的、能够实质性降低安全风险的义务，与提供者在研发阶段的义务相互补充、配合。我国《人脸识别技术应用安全管理办法》中，对应于欧盟《人工智能法》部署者义务的是告知与个人信息保护影响评估义务，未规定专门的AI安全管理义务。人脸识别系统提供者的前述行为涉及敏感个人信息的处理，受《个人信息保护法》《民法典》等法律法规的规制。
高风险AI系统风险与AI价值链上多方行为紧密关联，欧盟《人工智能法》还对高风险AI系统进口者、经销者以及在欧盟境外的高风险AI系统提供者的授权代表规定了安全管理义务。这三类主体使高风险AI系统从提供者（包括境外提供者）流转至部署者，对风险扩散有一定作用，承担的主要是监督提供者与部署者、协助风险管理等监管程序性义务。我国无类似规定。
（2）非高风险的特定AI系统安全管理义务
AI系统生成合成内容信息愈发逼真，其社会化应用增加了虚假信息、社会操纵、欺诈、假冒等新风险。为防控此类风险，欧盟《人工智能法》要求非高风险的特定AI系统相关方承担透明度义务。一是与自然人直接互动的AI系统的透明度义务。该类系统提供者应确保系统在设计与开发时，能够使与系统互动的自然人知晓其面对的是AI系统；但根据当时环境与使用情况，从合理的知情、观察与谨慎的自然人角度看这一点非常明显的除外。生成合成音频、图像、视频或文本内容的AI系统（包括通用AI系统）的提供者应当确保，AI系统的输出以机器可读格式、且可检测为人工生成或操作的方式进行标记，该系统的部署者应当披露该内容为人工生成或操纵的。二是情绪识别系统或生物识别分类系统的透明度义务。该类系统的部署者应当告知自然人其是系统的识别对象，并按照欧盟相关法规与指令处理个人数据（第50条第1—4款）。若以上系统符合高风险AI系统的特征，须遵守高风险AI系统相关义务。遵守以上透明度义务不应被解释为使用该类系统或其输出是合法的，相关方仍须遵守欧盟及成员国相关法律规定，如个人数据保护义务（第50条第6款）。
我国前述规章对互联网信息服务提供者与AI生成内容传播服务的服务提供者、互联网应用程序分发平台以及网络用户规定了类似的透明度义务，对应于欧盟《人工智能法》中与自然人直接互动的AI系统部署者的透明度义务，但在义务内容、范围、义务主体等方面超过后者，使下游环节的更多主体参与风险防控。
2.通用AI模型安全管理义务
欧盟《人工智能法》对通用AI模型的提供者及其授权代表规定了安全管理义务。通用AI模型是AI系统的核心组成部分，处于下游的系统提供者只有充分了解模型，才能将其集成到系统中（引言第88条）。根据高影响能力标准（第51条），该法将通用AI模型分为有无系统性风险的两类模型，要求通用AI模型提供者承担提供技术文件、向下游AI系统提供者提供技术信息、制定合规政策、公开通用AI模型训练内容4项义务（第53条第1款），有系统性风险的通用AI模型的提供者还应承担模型评估、识别并减轻系统性风险、跟踪、记录与报告严重事件、网络安全保护4项义务（第55条第1款），欧盟境外设立的AI系统模型提供者的授权代表应承担制定、保存与提供技术文件与提供者的联系方式、同主管机构合作等义务（第54条第3款）。在以上义务中，仅识别与减轻系统性风险、网络安全保护义务属于实质性降低风险的义务，其他均属监管程序性义务。不同于AI系统风险的现实性，通用AI模型在被提供给下游单位时，因尚无具体应用目标而不存在实际风险，其基于高影响能力的系统性风险需通过系统应用才能被现实化，只是因其可能大量应用而产生重大负面影响，才需提前采取防控措施。我国未针对通用AI模型规定安全管理义务。
综上，AI安全管理义务是为防控AI安全风险而对AI安全相关人员施加的有限的规范责任。我国仅对AI信息服务的提供者及相关方规定了安全管理义务。近年来，我国智能网联车辆、无人机等高风险AI系统应用不时引发损害后果，有必要推进AI安全管理义务相关立法，依法追究严重违反安全管理义务行为的法律责任，包括刑事责任。
三、人工智能安全管理义务承担者的刑事责任
目前我国AI安全立法适用范围窄，限于互联网信息服务领域的AI应用，法律位阶低，强制力弱，难以防控严重的及其他领域的AI安全风险。《互联网信息服务深度合成管理规定》等规章规定，违反其规定“构成犯罪的，依法追究刑事责任”，而现行刑法无与违反AI安全管理义务犯罪相关的立法。AI安全是智慧社会发展的基础，应当给予充分的法律保障，有必要研究严重违反AI安全管理义务行为的刑事责任问题。
（一）违反人工智能安全管理义务犯罪立法的正当性根据
违反AI安全管理义务犯罪立法具有必要性。AI引领新一轮科技革命与产业变革，对国家安全、经济社会发展与公众福祉至关重要。《全球人工智能治理倡议》提出，发展AI应“以保障社会安全、尊重人类权益为前提，确保AI始终朝着有利于人类文明进步的方向发展”，要求发展“可审核、可监督、可追踪、可信赖的AI技术”。《中共中央关于进一步全面深化改革、推进中国式现代化的决定》要求，“必须全面贯彻总体国家安全观，完善维护国家安全体制机制，实现高质量发展与高水平安全良性互动”。AI安全是总体国家安全的重要组成部分，保障AI安全既不能“唯安全”，也不能“唯发展”，应以高水平安全保障AI高质量发展。刑法应贯彻前述政策，包容AI高质量发展，对安全风险采取底线控制，只要前置法能够防范安全风险失控，刑法就应坚守谦抑立场，坚持以行政监管为主、刑法威慑为辅。但是，若AI的研发、生产、提供或使用危害国家安全、公共利益与公众合法权益，妨害AI安全管理秩序，那么其不仅不受刑法保护，还可能受到刑法的惩罚。
违反AI安全管理义务犯罪立法具有合理性。德国学者Jakobs教授将正犯分为支配犯与义务犯，支配犯因侵犯法益而具有可罚性，义务犯是违反为建设良好世界而设定的“制度管辖之义务”而成立犯罪。AI安全是智慧社会的基础，国家必然要建立AI安全管理制度，包括AI安全管理义务。为保障以上制度的实施，遏制严重破坏AI安全管理秩序的行为，有必要设立违反AI安全管理义务犯罪，该类犯罪是违反AI安全管理制度所设定义务的义务犯。
违反AI安全管理义务犯罪是特殊的义务犯。德国学者Roxin教授认为义务犯具有对法益的“保护性控制”能力，Schünemann、西田典之等教授认为，义务犯居于保证人地位，甚至将排他性支配作为犯罪成立的条件。例如，我国刑法中的拒不履行信息网络安全管理义务罪是义务犯，网络服务提供者创造网络空间，制定网络活动规则，有能力控制网络空间行为，居于排他性支配的保证人地位。违反AI安全管理义务犯罪与之不同，其义务承担者不具有此类排他性支配能力。由于AI的自主性及其风险控制的特殊性，AI安全相关人员仅具有不完全的保护性影响能力：（1）由于AI的自主性与不可预测性，AI算法的形成与演变不完全受控于其研发者、提供者、使用者及最终用户，AI系统的自主性越高，就越不受控制；（2）AI安全风险的形成与扩散分散于生产、流通、应用等多个阶段，各阶段上的义务承担者只能对本阶段的安全风险发挥一定的防控作用，不能对风险进行排他性支配控制，其严格履行义务只能阶段性地、部分地、有限地贡献于AI安全。同样，其违反义务行为也只能阶段性地、部分地、有限地损害AI安全。按照风险分配原理与比例原则，只应承担有限的责任。因此，违反AI安全管理义务罪应有别于其他义务犯，有必要设置较高的入罪门槛与较轻的刑事责任，仅将社会危害性严重的违反义务行为犯罪化，使该罪立法满足正当性要求。
（二）违反人工智能安全管理义务罪的罪行构造
设立违反AI安全管理义务罪应反映AI的特性，充分保障公民自由与合法权利，保障AI发展，有效防控AI安全风险。该罪是行政犯、义务犯与情节犯，应审慎设置该罪的构成要件，除必须具有严重的犯罪情节外，关键是合理规定AI安全管理刑法义务、主体与罪过要件。
1.AI安全管理刑法义务的范围
该罪是义务犯，合理规定AI安全管理刑法义务对该罪具有重要意义。德国学者Roxin教授认为，义务犯是违反构成要件之前的、刑法之外的特别义务的行为，公法、行业法规乃至于民法上的义务均可成为义务犯的特别义务。批评者认为，该观点是不合理的形式法律义务理论，因为其他法律不以保护法益为目的，刑法义务只应从自身任务中产生。后来Roxin教授将义务犯的特别义务限定为“与结果有关联地违反构成要件上的特别的义务”或“违反决定正犯性的义务”。但是，若将特别义务限定为与结果有关联，则必然将义务犯的范围缩小为结果犯。另外，所谓“决定正犯性”义务的限定则仍未明确特别义务的范围，反而有循环论证的逻辑谬误——义务犯以确定特别义务为前提，而特别义务的确定以成立义务犯为条件。德国学者Jakobs教授认为，义务犯的积极义务是团结义务，制度是强化团结的基础，违反团结义务决定义务犯的正犯性与可罚性。团结义务的范围并不从属于公法、民法等刑法之外的部门法规定的义务，而是与后者一样均来自于整体法秩序，刑法与其他部门法虽有各自不同的任务，但都服务于维护整体法秩序。但是，刑法自身任务的独立性与独特性决定了义务犯的特别义务或积极义务不同于刑法之外的其他部门法规定的义务。Roxin教授认为义务犯要回到法益侵害来确定正犯性，而Jakobs则认为犯罪的实质内容本就是规范违反，导致二者对义务犯及其义务范围有不同主张。在德国刑法与我国刑法中，义务犯并非限于直接侵犯个人权益的犯罪，还包括侵害秩序法益的义务犯，如玩忽职守罪等。若将集体法益排除在义务犯侵害的法益之外，则难以解释后一种义务犯。而按照Jakobs教授的规范违反论则难以区分其他部门法规定的义务。笔者认为，为解决以上问题，应回到刑法的任务，从义务犯设立目的出发讨论义务犯的义务范围。
设立违反AI安全管理义务罪的目的是保障AI安全发展，保护国家安全、公共安全与公众合法权益，应以此为出发点来确定AI安全管理刑法义务的范围。我国正在推进的AI立法与其他法律法规必然会规定安全管理义务，其中部分义务能成为刑法上的义务，违反此类义务的行为应具有刑事可罚性。关于义务犯的刑事可罚性根据，德国刑法理论界与司法界主要采取风险降低理论，即“未实施行为的实施本来会（显著地）阻止结果发生的风险”，若这种“降低风险的可能性”不仅事前能够判断，事后亦可确定，义务违反行为就具有刑事可罚性。国内外AI安全立法规定了多种AI安全管理义务，例如，欧盟《人工智能法》规定了三类AI安全管理义务，即防控AI技术风险的义务、保障自然人基本权利相关的义务、监管程序要求的义务。我国前述规章也规定了多种安全管理义务。违反这些义务并非均具有刑事可罚性，判断以上各类义务违反行为是否具有刑事可罚性，评价标准应是义务履行行为能否实质性、显著降低风险。遵守监管程序要求的义务并不具有直接降低风险的功能，违反该类义务不具有刑事可罚性，无论情节是否严重，均不应追究刑事责任。违反保障自然人基本权利相关义务的行为，能降低自然人权益遭受损害的风险，具有刑事可罚性。但是，其已受侵犯公民个人信息犯罪或其他侵犯公民人身权利、民主权利犯罪立法的独立规制，没有必要将其规定为违反AI安全管理义务犯罪。防控AI技术风险义务的履行能够实质性降低AI安全风险，若在具体场景下该类义务的违反与危害之间能建立起合法的连接，不仅能事前判断也能事后确定，该义务违反就具有刑事可罚性。
能够实质性降低严重AI安全风险的义务可以成为AI安全管理刑法义务。欧盟《人工智能法》将AI安全风险类别化，针对不同类型与不同程度的AI安全风险设置不同的义务，值得我国相关立法借鉴。不过，该法规定的部分义务亦有不合理之处。例如，该法针对非高风险的特定AI系统与通用AI模型，仅规定透明度义务与其他更低约束力的义务，风险防控功效存疑。以生成式AI系统的安全管理义务为例，该类系统的提供者、部署者履行了标识与提示义务后，公众并非不受系统输出的虚假有害信息影响，仍会有大量用户因缺乏知识与经验以及对AI技术与大企业的盲目信任，受系统提供的虚假有害信息欺骗而遭受严重损害，如佛罗里达14岁少年受谷歌聊天机器人诱导后自杀。在当前网络环境下，生成式AI系统的训练数据供给并非机会均等，对某个国家、民族、群体的数据歧视甚至敌视客观存在。若对生成式AI系统仅规定透明度义务，将无法有效防控其提供的违法信息给我国国家安全、公共安全与秩序以及公众合法权益造成严重危害的风险。为防控以上严重安全风险，我国对生成式AI系统的应用设置了风险防控义务。《生成式AI服务管理暂行办法》要求，提供者发现系统生成、传输违法内容的，“应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告”。该义务履行是控制生成式AI系统生成、传播违法信息的风险实现与扩散的最后屏障，有必要将其确定为安全管理刑法义务，以刑法手段督促义务承担者切实履行。
基于以上分析，笔者建议，我国应通过制定AI相关法律法规，构建系统化的AI安全管理义务体系，将其中能够实质性降低严重安全风险的义务规定为AI安全管理刑法义务。该类义务的范围为：（1）高风险AI系统、信息服务类、情绪识别与生物识别分类AI系统的提供者，应当承担监控与降低安全风险、数据治理、算法治理、保持透明度、确保系统适合人工监督、确保系统的准确性与稳健性及网络安全的义务；（2）以上系统的部署者应当承担保持透明度、遵守使用说明、安排适合人员监督、监控与降低风险的义务。
2.主体范围
违反AI安全管理义务罪的犯罪主体是AI安全管理义务的承担者，但是，该类义务的承担者并非均为该罪的主体。根据欧盟《人工智能法》的规定，高风险AI系统、非高风险的特定AI系统的提供者与部署者以及通用AI模型的提供者是主要的义务主体，出于风险防控需要，高风险AI系统进口者、经销者以及欧盟境外提供者的授权代表被规定为协助监督、信息提供及与监管机构合作等义务的主体。我国《互联网信息服务深度合成管理规定》与《生成式AI服务管理暂行办法》将服务提供者规定为主要的义务主体，《互联网信息服务深度合成管理规定》还要求技术支持者承担数据管理、个人信息告知同意、算法安全审核与评估等义务（第14、15条），以上义务主体的范围比欧盟《人工智能法》更狭窄。以上主体并非均能成立违反AI安全管理义务罪的主体，成立该罪主体应满足两个条件：一是承担AI安全管理刑法义务；二是其刑法义务的履行在客观上能够实质性、显著降低安全风险或阻止风险实现，且因其义务违反导致风险的升高或实现，严重威胁AI安全及其他关联法益。否则，其义务违反行为就不满足刑事可罚性，仅承担行政法律责任。
基于前述分析，笔者认为，违反AI安全管理义务罪的犯罪主体应限于高风险AI系统及其他能够造成严重危害的AI系统的提供者与部署者。应注意，我国前述规章规定的服务提供者与欧盟《人工智能法》规定的AI系统或模型提供者不同，兼有后者规定的部署者地位，此处按后者规定的提供者与部署者来分析。AI系统的提供者是安全风险的引起者，主要承担AI研发阶段的风险控制义务，是从源头控制风险。而部署者承担应用阶段的风险控制义务，该阶段是风险实现阶段，也是阻止损害后果发生的关键环节，其义务履行对阻止风险实现的作用最大。二者均为主要的义务承担者，具有实际的风险防控能力，其义务履行对降低安全风险起关键作用，可以成立该罪的犯罪主体。
AI的快速发展应用对国家竞争力、国家安全与经济社会发展具有重要意义，包容审慎成为AI法治理念，AI刑事法治的首要任务应是保障先进AI系统的研发与防范AI安全风险失控。为实现此目标，对待以上两类主体应有所区别。部署者具有直接管控风险的能力（除非提供者未能提供有效的人工监管措施），在降低AI安全风险上具有“近因”作用，对其义务违反导致的风险升高或失控具有预见能力，相比于提供者更符合归责条件。因此，对于部署者违反刑法义务的行为，应更多考虑保障安全的需要，合理认定其刑事可罚性。而提供者对促进先进AI发展的推动作用更大，应更多考虑促进先进AI发展的需要，保持包容立场。当然，若提供者兼有部署者身份，应单独评价其作为部署者实施的行为。
AI系统的进口者、经销者、生产者、提供者的授权代表，以及通用AI模型的提供者与部署者不直接引起、扩大与实现风险，也不具有实质性降低风险的能力，一般情况下不应作为该罪的犯罪主体。欧盟《人工智能法》对以上主体规定的主要是监管程序性或预防性义务，这些义务履行仅起到有限、间接降低风险的作用。我国前述规章未对这类主体规定安全管理义务，若未来我国AI安全立法对其规定安全管理义务，对违反该类义务的行为仅应追究行政法律责任。
3.罪过形式
义务犯的罪过形式可为故意或过失。欧盟《人工智能法》处罚故意或过失违反该法规定义务的行为（第99条第7款第i项）。违反AI安全管理义务罪的罪过形式是否包括故意与过失，影响该罪的处罚范围。笔者认为，故意违反AI安全管理刑法义务，且满足其他构成要件的，可按该罪追究刑事责任；若发生严重危害后果，对该后果无论出于过失还是故意，均可成立该罪，因为该罪处罚的是义务违反行为，因违反义务而未能阻止严重后果，即表明其行为具有严重的社会危害性；若行为人对危害后果持希望或放任态度的，如自动驾驶车辆提供者在紧急路况处置算法中设置歧视性算法，使车辆选择性撞向行人，部署者故意违反自动驾驶车辆人工监管义务，放任车辆撞死路人或乘客的，可同时构成故意杀人罪、以危险方法危害公共安全罪等故意犯罪，应按想象竞合犯从一重罪定罪，从重处罚。
行为人应当知道会违反以上义务，但因疏忽大意而不知有此义务且未履行，若将该种心态作为该罪的罪过形态，将扩大该罪的处罚范围，其合理性值得探讨。AI安全是独立的新公共法益，同时关联着国家安全等重大法益，已成为总体国家安全的新组成部分并深度嵌入公共安全，应属于重大法益，为其提供刑法保护具有合理性。既然《刑法》处罚过失违反国家秘密、军事秘密保密义务的行为，亦可将违反AI安全管理义务犯罪扩展至过失犯罪。但是，从保障AI发展的角度看，这样对AI相关方处罚过重，可能阻碍AI的研发、生产与应用，不符合促进AI快速发展应用的国家战略。
基于对AI安全与发展的考量，笔者认为，该罪应限于故意犯，可通过协调AI安全相关行政、刑事立法与执法，消除对过失违反义务行为追究刑事责任的可能性。可通过加强AI安全监管执法，督促义务承担者履行安全管理义务，减少或排除行为人过失违反义务的可能性，因而无必要将极少发生的过失违反义务行为设定为犯罪。若行为人曾因过失违反AI安全管理刑法义务受到行政处罚，可推定行为人知悉应履行的义务，其再次违反义务只可能是出于故意，此时刑法所处罚的是故意违反义务行为，而非过失违反行为。在罪状设计上，可参考拒不履行信息网络安全管理义务罪，将该罪的行为规定为“拒不履行安全管理义务，情节严重的行为”，并通过增加监管机关责令整改的程序，排除行为人过失违反义务的情形。
本刊已发相关主题的文章还有：
等等。