网信办通报"清朗·AI乱象整治"专项行动典型案例
近日,中央网信办启动"清朗·整治AI应用乱象"专项行动第二阶段部署,重点针对运用AI技术编造传播虚假信息、散布暴力低俗内容、假冒他人名义、侵犯未成年人合法权益等突出乱象,组织各属地网信部门持续深化专项整治工作,督导各网络平台及时清除AI生成的各类违法违规和不良信息,依法依规严厉打击违规账号和移动应用,有效遏制AI合成内容领域的混乱态势,促进AI应用规范有序发展。统计数据显示,截至当前已累计清除违法违规信息超过561万条,处置违规账号约4.9万个,关闭违规网站及应用程序2400多个。
整治行动开展以来,多个违法违规账号和应用受到严肃查处。为进一步强化警示教育作用,现将部分具有代表性的案例公开发布如下:
1.滥用AI"魔改"经典、炮制"数字泔水"内容。微博账号"天**小"、抖音账号"歪**国"、快手账号"小*菌"、微信账号"咸*i"等,违规运用AI技术对《三国演义》《西游记》等古典名著进行扭曲改编,颠覆核心人物形象设定,杜撰低俗猎奇剧情以赚取流量关注。相关账号已被依法依规处理。
2.AI制作传播虚假不实信息。快手账号"云**视"、小红书账号"有*头"、抖音账号"7**员"、微信账号"长**帆"等,借助AI工具生成虚假灾害场景、救援视频,凭空捏造社会热点话题,宣扬封建迷信思想,打造AI虚拟形象实施虚假营销带货,刻意误导老年群体,引发社会恐慌。相关账号已被依法依规处理。
3.AI假冒他人形象。抖音账号"特**力"、快手账号"石*"、小红书账号"潮**件"、微信账号"M**勒"等,通过AI"换脸""变声"技术仿冒公众人物,合成制作低俗舞蹈、亲密接触等影像内容,借此进行商业牟利。相关账号已被依法依规处理。
4.制作传播暴力低俗信息。哔哩哔哩账号"带**着"、抖音账号"波**C"、快手账号"虾**诡"、微信账号"星**7"等,大规模批量发布AI生成的包含恐怖异常、暴力低俗元素的画面内容。相关账号已被依法依规处理。
5.AI侵害未成年人权益。小红书账号"小**娃"、微信账号"豆*a"、抖音账号"半**历"、快手账号"若**雪"等,发布AI合成的未成年人早孕、斗殴等与其年龄段特征不相符的内容,大规模制作传播"毒动画"、儿童"虐向""邪典"题材视频,丑化、戏谑未成年人形象,危害未成年人身心健康。相关账号已被依法依规处理。
6.利用AI"托管"开展网络水军业务。微信账号"涛**客"、微博账号"A**师"、抖音账号"风*"等,为AI"托管"类软件进行推广引流,模拟真实用户运营账号、互动评论,炮制大量低质量同质化文案。相关账号已被依法依规处理。
7.AI产品服务及应用违规。"N**t""穿**元""甜*圈""芋**o"等网络平台的多个智能体产品,其封面图、简介说明及生成对话中包含淫秽色情及其他损害未成年人身心健康的违规信息,对网络生态造成严重破坏。对拒不整改的,依法予以惩处,按照程序采取警告、罚款、应用下架或关闭等处置措施。
下一阶段,网信部门将在全面总结专项整治工作成效的基础上,进一步把握人工智能技术发展趋势和内在规律,密切跟踪AI生成合成内容的新动向新隐患,及时采取针对性措施遏制AI技术滥用乱用行为,持续为人工智能产业创新发展打造清朗有序的环境氛围。