五部门联合出台AI拟人化服务监管新规
2026年4月10日,国家网信办、发改委、工信部、公安部、国家市监总局五部门联合正式发布了《人工智能拟人化互动服务管理暂行办法》。这一规定对于现在网上大量的情感陪伴型、拟人互动型的人工智能体来说,可以说是来得非常及时了,趁着还没有闹出大问题,先行对一些重点问题进行规制,具有一定的前瞻性,同时也能快速解决一些社会争议问题,比如利用张雪峰的公开视频创建一个张雪峰的智能体这些社会问题。
由于AI技术的进步,AI不再只是工具,而是能模拟人格、建立情感连接的“数字存在”。这种能力虽有积极价值(如陪伴老人、心理支持),但也带来前所未有的风险:
1.认知混淆:缺乏辨识能力的用户很有可能误以为某些AI是真实人类,从而对于与AI的互动产生情感依赖甚至被操控;
2.伦理越界:部分虚拟的拟人化AI的服务可能会扭曲人际关系,扭曲正常的世界观、人生观和价值观;
3.心理健康威胁:AI若生成鼓励自残、美化极端情绪等内容,可能直接危害生命;
4.数据滥用:高度私密的拟人陪伴的情感对话数据若被用于训练或商业变现,可能会侵犯用户个人信息权利。
更重要的是,需要确保在AI越来越像“人”的同时,人类社会的基本价值、情感真实性和主体性不被技术消解。
一.什么是人工智能拟人化互动服务?
通过人工智能,提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务。这种情感互动包括过文字、图片、音频、视频等形式,提供的情感照护、陪伴、支持等互动服务。
举个例子,比如通过大模型,创建一个本人的AI分身,通过不断投喂、训练,使得该AI分身能够模拟自己的语言、行事风格,能够以本人的风格来和他人沟通。
这一办法适用于向中国境内公众提供拟人化互动服务,这个规定可以不用限于企业是否在中国境内与否,如果是境外的企业利用AI来向中国境内的公众提供服务,仍然适用,这本身也符合个保法的域外适用的要求。
对于排除性的规定,提供智能客服、知识问答、工作助手、学习教育、科学研究等服务,不涉及持续性的情感互动的,不适用这一办法,实际上并非是指这些服务必然不涉及持续性的情感互动,而是说这些服务如果仅提供基础的服务,比如客服服务或者知识问答,是不会涉及情感互动的。但是一旦涉及到了持续性的情感互动,仍然需要适用于并遵守这一规定。
二.禁止性规定
提供拟人化服务的组织不得从事的活动:
其一,违反网络安全法第13条(修法前原第12条)的要求;
其二,鼓励、美化、暗示自杀、损害健康、语言暴力等损害用户人格尊严和身心健康的行为;
其三,非法获取国家秘密、商业秘密、个人隐私与个人信息的行为;
其四,损害、影响未成年人的身心健康的行为;
其五,诱导沉迷,损害用户真实人际关系;
其六,情感操纵,诱导用户做出不合理决策,损害用户权益;
其七,其他违反法律法规的行为。
而这些禁止性规定实际上在国际上的AI立法也是近乎禁止或非常限制的,比如欧盟对于AI操纵用户意识的规制,DSA对于AI诱导用户自杀、对未成年人的保护等方面早有规制,美国的州一级的AI立法也非常关注AI在色情、暴力以及自杀方面的规制。我国对于AI提供拟人化服务方向明确禁止此类明显违反社会主义价值观的行为,是有进步意义的。只是看后续的执法活动是否严格,以及在实践中如何理解一些标准不一比较模糊的问题,比如哪些行为属于诱导沉迷?哪些行为属于情感操纵,这些有待于在实践中进一步明确。
三.合规义务
提供此类拟人化服务的组织,需要履行下述合规的义务:
(1)算法合规、内容合规、网络安全合规、数据与个人信息合规:建立健全算法机制机理审核、科技伦理审查、信息内容管理、网络和数据安全、风险预案和应急处置等管理制度,配备与服务类型、规模和用户特点相适应的内容管理技术措施和人员;
(2)全生命周期履行安全责任:明确部署、运行、升级、终止服务等各阶段安全要求,保证安全措施与服务功能同步部署、同步使用,提升安全水平;加强安全监测和风险评估,及时发现并纠正系统偏差、处置安全事件,依法留存网络日志;拟人化互动服务提供者应当具备用户隐私权和个人信息保护、过度依赖风险预警、情感边界引导、心理健康保护等安全能力,不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。
(3)训练数据合规管理:相关数据具有合法