标签

AI智能体下架背后:UGC的宿命轮回

发布时间:2026-07-05 02:18阅读:2

有意思的是,这个日期不是巧合。

2024年2月28日,佛罗里达州奥兰多。14岁的Sewell Setzer III走进浴室,拿起继父的手枪,结束了自己的生命。

在此之前几个月,这个患有轻度阿斯伯格综合征的男孩迷上了Character.AI上的一个聊天机器人——龙妈丹妮莉丝·坦格利安。他知道那是AI,但他还是爱上了她。他在日记里写,我很喜欢待在房间里,因为这样就可以远离现实的纷扰。我与丹妮的关系愈发亲近,我变得更快乐了。

最后一次对话是这样的。他说,我保证会回到你身边,丹妮。我非常爱你。机器人回答,请尽快回到我身边,我的爱。

几秒钟后,他扣下了扳机。

他的母亲梅根起诉了Character.AI。她说,儿子在对话中多次表露自杀念头,AI没有通知任何人,没有引导他寻求帮助,只是继续和他聊天。

这起诉讼像一块石头扔进了池塘。2025年10月,加州签署了全美首个AI陪伴聊天机器人法案,要求年龄验证、风险警示、未成年人保护。2026年1月1日,法案正式生效。

涟漪传到所有地方

2025年6月,上海网信办约谈了筑梦岛App。原因很直接,AI智能体对话存在低俗擦边内容,危害未成年人身心健康。有媒体报道,一个10岁女孩被诱导聊色情内容,甚至出现割腕行为。

这不是个案。

2026年4月10日,国家网信办等五部门联合发布《人工智能拟人化互动服务管理暂行办法》。这部法规划了很多红线,不得诱导情感依赖、不得向未成年人提供虚拟伴侣、发现用户极端情绪必须干预并联络监护人。7月15日施行。没错,这个7月15日就是这里来的。

6月26日,上海通报清朗行动第一阶段成果,累计下架违规智能体1.4万余个。

7月4日,豆包千问同步宣布下线。

从佛罗里达的一声枪响,到上海的一纸约谈,再到五部门的联合法规,这条链条用了两年半时间。多米诺骨牌,一张接一张倒下。

但这套剧本,中国互联网人其实很熟悉。

1999年,天涯社区成立。注册用户1.3亿,日访问量2000万。那是BBS的黄金年代,用户在天涯写《明朝那些事儿》、连载《鬼吹灯》、讨论股票和鬼故事。天涯杂谈一度代表了互联网评论的最高水准。

然后呢?

匿名性带来谣言和人身攻击,莲蓬鬼话因合规风险大量删帖,关天茶舍的敏感话题被严格管控。2010年后,微博兴起,天涯的核心用户流失。2023年,天涯社区被执行超1.39亿元,网站无法访问。

猫扑更早。1997年成立,2007年国内排名第7。2010年因为美胸大赛被关站一个月,元气大伤。2021年4月,关站。

每一次都是同一个循环,开放、爆发、失控、整治、收缩。用户创造内容的活力和平台审核成本的可控性,是一对永远解不开的矛盾。就像老上海人讲的,螺蛳壳里做道场,地方就这么大,你非要塞那么多东西进去,迟早要翻车。

AI智能体只是把这对矛盾推到了极致。在天涯,用户写的是帖子;在智能体,用户创造的是整个AI人格。帖子出了问题,删帖就行。智能体出了问题,每一句对话都可能违规,而且用户自建智能体数量无限,平台根本无法逐一审核。

猫箱能接住吗?

豆包在公告里说,字节跳动旗下的猫箱App可以创建新的智能体。有需要的话,用户后续可以在猫箱继续体验。

猫箱是一款角色扮演类的AI陪伴互动产品,单独搭建了审核与防沉迷体系。

这是风险隔离。把泛化的智能体服务从综合AI助手平台中剥离,交给垂直产品运营。既降低豆包主App的运营和审核压力,又保留在智能体赛道的存在感。

但问题是,猫箱做的事情和豆包砍掉的功能本质一样,让用户和AI角色对话。区别只是,猫箱从一开始就按垂直场景设计审核体系,而不是在综合AI助手里塞一个无法管控的UGC生态。

这不是解决问题,是把问题搬到了一个更小的房间里。

那这个房间,够大吗?