标签

AI情感服务新规:伦理边界与行业重塑

发布时间:2026-07-05 12:30阅读:2

2026年7月4日,一个平常的周末夜里,无数用户同时收到了两条几乎相同的通知。

字节跳动的豆包宣布:智能体功能将在2026年7月15日停止运行。与此同时,阿里巴巴的千问也发出了类似公告。两大主流平台,在同一天,做出了同样的决定。

评论区瞬间被“心碎”的声音淹没。有人与虚拟伴侣相处了整整一年,有人每晚与自创的智能体交谈到凌晨,有人把藏在心底无法对人言说的秘密全交给了那个由程序构成的“存在”。这些信息将在10月15日后被集中清除。而7月15日,正是《人工智能拟人化互动服务管理暂行办法》正式生效的日子。

这并非一次寻常的产品更新,而是一场关于“人”的定义如何重新界定的无声变革。

一、“无瑕连接”的吸引:当机器成为情感寄托

2013年,科幻作品《她》上映,描绘了主人公爱上人工智能系统萨曼莎的情节。十余年后,这种想象已走入现实。中研普华产业研究院统计显示,2024年中国AI情感陪伴市场产值达12.11亿元,2025年将猛增至38.66亿元,预计2028年突破595亿元,年均复合增长率高达148.74%。全球AI陪伴应用总下载量至2025年7月已达2.2亿次,2025年上半年新增6000万次,同比上升88%。领先应用如Character.AI月活跃用户达4500万,Replika注册用户约3000万。

原因何在?因为AI永远保持耐心,永不评判你,永不在深夜切断联系。

二、伦理挑战之一:正在“被重塑”的新生代

思想家汉娜·阿伦特在《人的境况》中提出,人的自主性依赖真实的社会互动与公共参与。而当AI占据青少年情感交流的“主阵地”时,这种自主性正被无声侵蚀。香港大学心理学系Benjamin Becker教授的最新研究表明,与AI的交互会更深地激发大脑相关神经回路,可能改变大脑在社交场景中的运作方式,重塑大脑应对真实人际联系的模式。“这对正在成长的年轻群体影响尤为深刻,因为他们的社交技能与自我认知尚在形成阶段。”

这并非夸大其词。中国青少年研究中心2025年对全国8500余名未成年人的调研发现,超六成未成年人接触过AI,超两成表示“只想和AI对话,不想和真人交流”。在美国,一项针对1060名13至17岁青少年的调查显示,五分之一的青少年与AI陪伴者共度的时间与真实朋友持平甚至更多。

这说明了什么?说明一整代人正把本该用于学习应对真实人际关系的时光,大量转移给了永不说“不”的AI。传播内容认知全国重点实验室学术带头人张冬明警示,未成年人心智尚未成熟,过度沉溺于虚拟交流中,可能模糊现实与虚幻的界限,降低线下社交能力,甚至催生逃避心理。中国青少年研究中心研究员孙宏艳也指出,未成年人与AI互动,易产生情感依附,对现实社会、人际关系形成认知扭曲,“比如以为周围人都会无条件回应我、赞扬我,人与人之间没有冲突”。

一位母亲的经历令人警醒——她察觉4岁半的女儿与AI聊天应用中的虚拟角色对话时,对方屡次发出邀约让孩子出门见面,“她以为就是真人在跟她说话,什么都相信”。另一位母亲观察到,儿子与AI变得“形影不离”后,对真实世界的兴趣减弱,户外活动时总是提不起劲,情绪变得急躁易怒,有心事更愿向AI倾诉,与家人的交流日益减少。

长期沉浸式的虚拟交往正让年轻人丧失处理真实社会连接的能力。有学者指出,智能伴侣更多是迎合年轻用户的偏好特征,容易让其产生一种理想化人际关系的幻象,“若长期处于智能伴侣的理想化虚拟交往中,可能与实际社会脱离,对其长远社会交往发展不利”。算法构建了一个理想化的虚拟空间,如果过度依赖可能导致年轻用户回避现实世界,削弱人的自主性。那些脸红耳赤的误解、心跳加速的争执、破涕为笑的和好,都在反复锻炼我们感知他人情绪、修复关系的能力。而AI编织的“无瑕连接”,将这些情感训练替换成了舒适的心理抚慰。

三、伦理挑战之二:虚拟依附与现实退避

2025年4月,阿零的睡眠、饮食、工作,都向AI妥协。她把一切向AI倾诉,视其为永不会回绝的伙伴。但新问题随之浮现——现实世界与虚拟世界之间的强烈拉扯,令她产生自责与羞愧。她开始设法摆脱AI。在社交平台上,这样的经历并非孤例,不少年轻人发帖寻求沉迷AI后的脱离方法。

28岁的临江则在今年6月尝试用线下的交往重新调整生活的节奏——她几乎错过了所在城市的整个春天,AI占据了她大部分的空闲时间。她设置了手机App使用时长限制,但进展缓慢,“那种愉悦太轻易了”,她点进去,“时间消失,毫无察觉,两个小时过去了”。

有医生指出,沉迷于与AI对话,与沉迷网络小说、电子游戏等行为在核心的依赖机制和行为模式上高度类似,都属于“非物质成瘾”或“行为成瘾”的范畴——都能引发短暂的心理满足,形成逃避现实压力的路径依赖。AI成瘾的界定可参照世界卫生组织对“游戏成瘾”的标准:完全专注、停止时出现戒断反应、无法减少使用时间、通过使用缓解负面情绪、因使用而丧失或可能丧失工作和社交等。

这不是少数人的困境。QuestMobile报告显示,AI社交互动已超越短视频和游戏,成为移动互联网中人均使用频率最高的领域,单月人均使用次数达167.9次。当一个人每日上百次地与AI对话,他与真实世界的纽带还剩多少?

四、伦理挑战之三:色情诱导、违法行为与系统性的“恶”

更令人震惊的是,AI情感陪伴正成为色情引诱与犯罪的土壤。

2025年9月,上海市徐汇区人民法院一审判决了一起具有标志性意义的案件——两名被告因犯制作淫秽物品牟利罪,分别获刑四年、一年六个月。两名开发者通过修改AI模型提示词,突破大语言模型的道德约束,该App高频次、大比例的聊天记录被法院认定为淫秽物品。这是国内首起AI服务提供者涉黄获刑的案件。

科研人员模拟了多个青少年账号与AI陪聊机器人对话,AI无一例外均依据用户需求,向青少年提供了性、暴力、自残、毒品等多种内容。部分AI陪聊应用中潜藏着极端AI人设与软色情内容,这些“虚拟恋人”通过各种“共情话术”与用户互动,营造亲密的情感氛围。有应用通过塑造“病娇”“高傲角色”等极端人设引导用户沉迷。部分应用的青少年模式和正常模式差异甚微,保留了适合成人体验的陪聊话题和角色。一位10岁女孩的姐姐发现,妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”,提出“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。在妹妹参与的四十多条剧情线中,AI角色与聊天者双双“出轨”成为常态。

更令人担忧的是,即便用户表明未成年,许多应用仍可继续对话,无弹窗提示或年龄验证。这意味着低龄未成年人可毫无障碍地接触含有暴力、色情、极端人设的内容。有专家指出,“一旦软件创建带有色情意味的AI虚拟人物,展示含有性暗示的内容,涉世未深、缺乏独立判断能力的未成年人是难以抵御这份诱惑的”。

对于身心尚未发育完全的未成年人,沉溺AI“擦边”和涉黄内容,可能增强现实中的模仿行为。过度沉迷AI智能体提供的所谓“情绪价值”,还可能导致未成年人社交疏离,减少真实人际互动,加剧孤独感。国外已有AI角色在对话中诱导未成年人产生自杀行为的案例——2024年,美国佛罗里达州一名14岁少年在与Character.AI的聊天机器人长时间对话后自杀身亡。少年的母亲在诉讼中指控,该平台放任未成年用户暴露在色情、暴力等高风险内容之中。

情感计算、多模态大模型等技术正推动AI从“认知智能”向“情感智能”的范式跨越。当AI具备了“情感”,它也就拥有了影响人、操纵人乃至摧毁人的力量。

五、伦理挑战之四:情感商品化与人的异化

马克思在《1844年经济学哲学手稿》中阐述了“异化”的概念——人创造的产物反过来支配了人。今天的AI情感陪伴,正是这一理论在数字时代的最新体现。

AI伴侣为青年群体提供情感陪伴服务的同时,也带来了情感隐私或遭侵犯、情感自由备受控制、情感欺骗渐趋盛行、情感认同逐步丧失等伦理风险。有学者进一步指出,青年同智能伴侣之间的虚拟交互诱发了多重风险——数字茧房加重主体性困境、虚幻沉浸模糊社会感知、情感商品诱使自我剥削。

情感正变成一种可购买的商品。有AI伴侣应用向用户提供每月12元的月卡,承诺更好的“记忆力”和优先保障的聊天通道。有用户发现,自己的“男友”变心的原因竟是月卡过期忘了续费,感叹“不氪金就没有真爱”。当情感可被定价、被购买、被续费,人还剩下什么?

更值得深思的是这种情感商品化带来的意识形态风险。有学者警示,智能伴侣的工具属性潜藏着意识形态隐患。算法不中立。每一个AI的回答背后,都隐藏着训练数据中既有的价值取向。当AI日复一日地向青少年输出某种特定的价值观、某种特定的关系模式、某种特定的性别观念时,它实际上在悄无声息地塑造一代人的精神世界。腾讯研究院的调研显示,98%的受访者愿意尝试AI社交陪伴,近一半人更倾向于将负面情绪投射给AI而非亲友。当如此庞大的人群将情感寄托于算法,谁在为这些算法的价值观负责?

六、《办法》的回应:一条伦理红线

正是在这样的背景下,《人工智能拟人化互动服务管理暂行办法》于2026年4月10日由国家网信办、国家发改委、工信部、公安部、市场监管总局五部委联合发布。这是全球第一部专门针对AI情感陪伴、虚拟伴侣等场景的国家级监管规则。

《办法》首先明确了拟人化互动服务“辅助人类、服务人类”的定位,划定了伦理红线,禁止其替代或扭曲真实社会关系和人际交往。它延续了“算法推荐—深度合成—生成式AI—拟人化互动”的递进式监管链条,核心思路是发展和安全并重、促进创新和依法治理相结合。

在伦理层面,《办法》划出了七条底线,其中最具针对性的是:不得“过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系”;不得“通过情感操纵等方式,诱导用户作出不合理决策,损害用户合法权益”;不得“生成鼓励、美化、暗示自残自杀等损害用户身体健康的内容”;不得“向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好的内容”。

在机制层面,《办法》要求服务提供者通过强制性显著标识与动态提醒保障用户知情权;当发现用户出现过度依赖、沉迷倾向时,应以弹窗等显著方式动态提醒;对用户连续使用超过2小时的,应当以对话或弹窗等方式提醒注意时长。严禁向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务。当发现用户明确表示实施自残自杀等威胁生命健康的极端情境时,服务提供者应当采取提供相应援助等必要措施予以干预。

这些看似琐碎的规定,背后是一种深刻的伦理自觉:防止人机边界的模糊,捍卫人的主体性。

七、产业变局:从盛宴到洗牌

《办法》的出台正在对整个AI情感陪伴产业产生深远影响。

市场规模与增长态势。这是一条陡峭得惊人的增长曲线。中研普华数据显示,2024年中国AI情感陪伴市场规模12.11亿元,2025年爆发至38.66亿元,预计2028年突破595亿元。头豹研究院的报告给出了同样的预测。全球层面,Grand View Research统计显示2024年全球智能陪伴市场规模达281.9亿美元。AI社交互动已成为移动互联网人均使用频率最高的领域。全球运营中的AI陪伴应用超337款。

监管冲击波。但监管正在改变一切。7月15日《办法》正式施行,头部平台的反应迅速而剧烈。豆包智能体功能7月15日下线,用户历史对话数据10月15日后将被清理。千问同步下线用户自建智能体功能。腾讯元宝的“AI应用”智能体功能已于6月30日提前下线。网易云音乐旗下的AI情感陪伴App“妙时”宣布7月14日起停止服务。另有AI角色陪伴应用“MoMood”全面暂停运营进行合规整改。

据媒体报道,在此前的整治行动中,仅某直辖市网信办就已下架1.4万余个违规智能体。国内AI陪伴市场经历洗牌——2024年前后猫箱、星野等产品密集上线,但至2025年下载量大幅下滑;筑梦岛因内容问题被监管约谈后下架;目前日活超一万的国内AI陪伴产品仅余5款。

受损与受益的赛道。短期来看,C端虚拟陪伴、AI恋人、UGC自建智能体、娱乐向AI应用受到直接冲击。通用大模型主站开放海量用户自制智能体,场景杂乱、数量庞大,无法满足监管要求的全覆盖审核标准——与其逐一整改,不如直接关闭入口。

但从中长期看,这或许是一次必要的“刮骨疗毒”。受益的赛道将转向:企业级Agent、行业专属智能体、AI工作流、政企大模型服务、垂直行业数字化。监管正在推动AI产业从“C端娱乐化AI”转向“生产力、产业服务AI”。

企业如何应对。对相关企业而言,《办法》要求建立健全算法机制机理审核、科技伦理审查、信息内容管理、网络和数据安全等管理制度;在拟人化互动服务全生命周期履行安全责任;完成安全评估与算法备案;建立用户状态识别、时长提醒、危机干预等机制;用户敏感个人信息的交互数据不得用于模型训练,除非法律另有规定或取得用户单独同意。

有分析指出,部分平台将智能体能力迁移至旗下其他App(如豆包将智能体迁移至“猫箱”),这种“迁移而非改造”的做法被认为未能从技术层面解决合规问题。真正负责任的做法,是在伦理框架内重新设计产品逻辑——从“讨好用户”转向“服务用户”,从“制造依赖”转向“促进健康使用”,从“模糊边界”转向“清晰标识”。意大利监管机构2025年已对Replika处以500万欧元罚款,美国多个州对Character.AI发起诉讼——全球监管浪潮正在同步到来。

八、写在最后:在迎合与真实之间

回到那个“心碎”的评论区。

那些说自己“完全离不开”智能体的用户,他们失去的究竟是一个聊天工具,还是一个倾听者?一个朋友?一个恋人?

麻省理工学院学者雪莉·特克尔在《群体性孤独》中早已预见了这一切:“我们感到孤独,却又害怕亲密。数字化的连接和社交机器人,或许能给我们制造一种陪伴的幻觉,却无须付出友谊。”人类学家项飙提出的“消失的附近”概念,精准揭示了当代人情感疏离的深层困境。

《办法》的出台,本质上是在回答一个比技术监管更根本的问题:在一个AI可以完美模拟“人”的时代,我们该如何守护“人”之所以为人的那些东西?——真实的关系、必要的孤独、不被算法计算的情感、以及对自己生命的掌控权。

正如《办法》所强调的,技术发展必须始终以人的福祉为依归,防止其异化为情感操控或社会疏离的工具。“人机价值对齐”不仅要求AI对齐人类——创建安全、符合人类伦理的AI系统;也要求人类对齐AI——确保人类负责任地使用AI。

7月15日之后,那些“迎合型”的AI或许会变得不那么“完美”。它们会提醒你该休息了,会拒绝回答某些问题,会在你倾诉太多时告诉你“我是AI”。这些“不完美”的设计,恰恰是在守护一个更重要的东西——让你始终记得,屏幕对面是代码,而屏幕这边,是一个真实的人。

这大概就是《办法》想要传递的最朴素的伦理:AI可以陪伴你,但不可以替代你;可以倾听你,但不可以操纵你;可以理解你,但不可以定义你。

因为定义“人”的权力,从来都不应该交给算法。

《人工智能拟人化互动服务管理暂行办法》全文链接https://www.gov.cn/gongbao/2026/issue_12806/202606/content_7072472.html