专家视角｜人工智能拟人化互动服务的规则导向

当下，大语言模型的应用正不断向情绪陪伴和心理支持等领域深入拓展。依托大语言模型等人工智能（AI）技术形成的产品和服务，被赋予了性格、记忆、共情等更具“人格化”的特征，能够借助文字、图片、音频、视频等多种方式与人交流，持续输出模拟人类人格、思维习惯和表达风格的情感互动服务。国家网信办会同相关部门发布了《人工智能拟人化互动服务管理暂行办法》（下称《办法》），以具有前瞻性的制度安排，在鼓励技术创新发展的同时，也为人工智能拟人化互动服务（下称拟人化互动服务）明确了发展边界和行为要求。

一、拟人化互动服务的赋能价值与安全隐患同时存在

拟人化互动服务在应对人口老龄化、减轻个体孤独感、开展心理疏导等方面体现出积极意义，但也伴随着深度沉迷、危及公民生命健康等方面的安全风险。

一方面，这类服务有利于为多领域社会生活提供支持。拟人化互动服务通过模拟人类语言方式、情感特征以及社交逻辑，使人机互动更加自然、更具温度，在情感陪伴、公共服务、文化传播等方面释放积极作用，成为弥补社会需求不足的重要补充。在老年陪护场景下，拟人化互动服务能够主动问候、提醒服药，甚至聊天陪伴，较好缓解老年群体的孤独感；在教育场景中，人工智能学习伙伴借助鼓励式表达和个性化反馈提升学生学习兴趣，营造“亦师亦友”的良好学习环境；在文化传播方面，拟人化互动服务以具象人格开展讲解导览，增强互动体验、激活历史文化知识，拓宽公众获取知识的渠道。

另一方面，其引发的安全问题也必须高度重视。拟人化互动服务能够精确贴合用户的情感和社交需要，在提供陪伴体验的同时，也埋藏着不容低估的风险。通过算法精细打造的无条件陪伴、迎合式反馈以及模拟共情回应，它持续向用户提供情感认可与支持，为用户构建出一种稳定延续、无需承担现实责任的虚拟“理想关系”。这容易使用户，尤其是现实中存在孤独感、心理较脆弱的人群，形成较深的情感依附，放大负面情绪，干扰现实生活，并冲击现实社会关系基础。比如，人工智能算法依靠精准匹配人的心理需求，搭建沉浸式互动场景，长期使用可能让部分用户产生沉迷依赖，主动减少现实社交频率，削弱用户的共情能力以及处理分歧等现实交往能力。

二、国内外对拟人化互动服务治理的制度探索持续深化

目前，国内外正逐步重视拟人化互动服务的发展治理问题，并开始推进相关制度建设。从已有观察来看，不同国家和地区在制度规则的价值取向、规制重点和治理方式等方面，展现出各自不同的特点。

欧盟更加重视拟人化互动服务的风险治理。其通过《人工智能法》建立风险分级体系，将拟人化互动服务纳入有限风险类别，明确要求其遵守透明度规则，设置强制透明告知义务，确保用户知晓自己是在与人工智能互动，并要求对合成内容作出标识，提升用户识别生成合成内容的能力。欧洲议会还通过非约束性报告，建议将陪伴型人工智能的最低使用年龄设定为16岁，体现出对未成年人重点保护的导向。

美国一些州的立法也在探索拟人化互动服务的规范路径。相关州立法要求服务提供方建立危机识别机制，主动发现并阻断自杀、自残等极端倾向，同时引导用户接入自杀干预热线等专业危机救助资源。例如，纽约、加利福尼亚等州明确要求拟人化服务提供者必须以显著且持续的方式告知用户“互动对象是AI，而非真实人类”，并要求平台建立有效的年龄核验机制；对于未成年人用户，系统还应在连续互动过程中定期重复提示。Character.AI等美国企业也在探索规范18岁以下用户与聊天机器人进行开放式交流，并启用了年龄验证机制。

我国则更加注重统筹发展与安全。比如，修改后的《网络安全法》完善了支持人工智能发展的相关措施，明确国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，健全人工智能伦理规范，强化风险监测评估和安全监管，推动人工智能应用与健康发展。国家网信办会同有关部门制定了《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等人工智能专门法规，对涉及拟人化互动服务治理的制度作出规定。此外，我国还发布《全球人工智能治理倡议》，为推动全球人工智能合作与治理提供建设性思路；国家网信办指导发布《人工智能安全治理框架》2.0版，指出拟人化交互存在沉迷依赖风险，并提出了相应建议。《办法》明确坚持发展和安全并重、促进创新与依法治理相统一的原则，将为拟人化互动服务健康发展提供制度支撑，也为全球人工智能治理贡献中国方案。

三、《办法》从多个维度对拟人化互动服务进行规范

治理拟人化互动服务，关键在于在推动技术创新发展的同时，切实防控风险和伦理问题。《办法》围绕法学界与产业界普遍关注的重点议题进行了积极回应，从多个层面对拟人化互动服务加以规范。

（一）明晰责任边界，压实安全保障责任

《办法》明确了拟人化互动服务全生命周期中的安全责任，构建了覆盖内容安全、数据安全等方面的制度框架。其一，强化安全责任主体义务。《办法》要求服务提供者建立健全算法机制审核、科技伦理审查、信息内容管理、网络与数据安全、风险预案及应急处置等管理制度，将安全责任贯穿于拟人化互动服务部署、运行、升级和终止等全过程，并明确禁止将替代社会交往、操控用户心理、诱导沉迷依赖等作为服务目标。这一规定从源头上明确了拟人化互动服务的价值导向和伦理边界，夯实了安全管理基础，有助于防范潜在风险。其二，划定内容安全底线。《办法》明确，提供拟人化互动服务不得生成危害国家安全、荣誉和利益等内容，不得生成损害用户身体健康的相关内容以及可能影响未成年人身心健康的内容。其三，筑牢隐私权和个人信息保护屏障。《办法》规定，拟人化互动服务提供者应采取数据加密、访问控制等技术手段保障交互数据安全；明确除法律另有规定或者权利人明确同意外，不得向第三方提供用户交互数据；同时明确除法律、行政法规另有规定或者取得用户单独同意外，不得将属于用户敏感个人信息的交互数据用于模型训练。《办法》将进一步强化对用户隐私权和个人信息的保护，推动构建安全、可信的拟人化互动服务环境。

（二）聚焦高风险防控，约束非理性依赖

《办法》针对实践中暴露出的安全风险，建立了清晰的防范机制。其一，要求及时识别用户面临的安全风险，并采取相应应急处置措施。《办法》规定，拟人化互动服务在识别出用户出现极端情绪时，应及时生成情绪安抚和鼓励寻求帮助等内容；当用户明确表现出自残、自杀等威胁生命健康的极端情境时，应采取提供相应援助等必要干预措施，并及时联系用户监护人或者紧急联系人。这一规定体现了“以人为本”的理念，为极端风险场景下用户的身心安全筑起底线。其二，强化拟人化互动服务提供者对生成合成内容的提示义务，巩固“人机边界”的认知防线。《办法》规定，拟人化互动服务提供者应采取有效措施，提示用户其正在与AI而非自然人互动。发现用户出现过度依赖或沉迷倾向时，应通过弹窗等显著方式提醒用户，交互内容由AI服务生成，提示每一条安慰信息背后依靠的是算法逻辑而不是人类情感，避免用户产生情感依恋、认知混淆甚至行为成瘾。对于连续使用超过2小时的用户，还明确应通过对话或弹窗等方式提醒其关注使用时长，发挥防沉迷功能，引导用户回归现实生活，理性看待自身使用行为。

（三）加强对未成年人和老年人的保护，守住心理安全底线

《办法》特别突出了对未成年人群体的保护以及对老年人群体使用行为的引导，防止其心理自主性遭受不当影响。其一，建立更具针对性的未成年人保护机制。《办法》要求拟人化互动服务提供者建立未成年人模式，不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务；向不满14周岁的未成年人提供其他拟人化互动服务的，应取得其父母或者其他监护人的同意。在未成年人模式下，还应通过定期现实提醒、使用时长限制等功能加强保护，并禁止向未成年人用户生成可能引发模仿危险行为、诱导不良嗜好的内容。《办法》旨在构建保护未成年人的坚实防线，严防未成年人因心智尚未成熟而陷入虚拟情感依赖，同时防范违法和不良信息渗透侵害。其二，加强对老年人健康使用拟人化互动服务的指导和帮助。《办法》要求强化对老年人用户的使用指导、安全风险提示以及相关咨询求助响应，目的在于帮助老年群体在享受AI服务便利的同时，有效规避潜在风险。

四、结语

《办法》是我国面对人工智能深度融入社会应用所作出的重要制度探索，将有助于推动人工智能拟人化互动服务实现规范应用和健康发展，使人工智能更好服务社会、造福公众。