治理AI应用违规行为 专项行动已处理账号超2.6万个
"清朗·治理AI应用违规行为"专项行动自2026年4月开展以来,中央网信办重点针对未按要求完成大模型备案登记手续、AI平台安全防护与内容审核过滤机制薄弱、AI数据投毒攻击、生成合成内容标识规范执行不力等AI应用领域违规问题,指导各地网信部门扎实推进第一阶段核心治理任务,同时设立"AI应用违规问题举报专区",专门接收公众投诉。在各方协同配合下,第一阶段共处理违规网站、应用程序、智能体等AI产品1.4万余款,清理违法违规信息600余万条,处理账号2.6万余个,下架违规AI商品1300余个、违规开源数据集9个,各项工作取得明显成效。
各地网信部门切实落实属地监管职责,结合本地实际实施有效监督管理举措。例如:北京网信办构建"平台自主检查+日常巡查+技术筛查+线索核查"协同工作机制,迅速下架多款违规AI应用及相关运营账号。上海网信办依据平台类别制定差异化工作方案,引导平台优化举报流程、主动公布治理通告。浙江网信办围绕模型审核水平、训练数据安全、AI数据投毒等多个层面,组织实施语义判断优化、高频回归测试等专项改进措施。江苏网信办开通AI应用违规问题专项举报通道,收集AI数据投毒、未执行生成合成内容标识规范等5类违法违规线索,及时核查处理。广东网信办建立属地多部门联动监管体系,综合运用技术巡查、人工审核、现场督导、约谈处罚等手段实施AI应用违规问题全链条治理等。
重点网站平台主动落实主体管理职责,有重点地强化管控措施。例如:华为在应用商店中增设生成式人工智能服务备案与标识专项审查环节;阿里巴巴优化数字指纹比对及关键词拦截系统,提高违法违规内容识别准确度;智谱搭建多模态审核模型,针对多轮对话意图反转等复杂情形实施交叉验证;稀宇迅速发现并阻断利用AI编写病毒、钓鱼软件等恶意活动;DeepSeek在数据采集与预处理阶段嵌入异常检测算法,防范恶意样本隐蔽操控等。
下一阶段,中央网信办将重点针对利用AI技术制作传播虚假信息、散布暴力低俗等不良信息、假冒仿冒他人、侵害未成年人权益、从事网络水军活动等突出问题,推进"清朗·治理AI应用违规行为"专项行动第二阶段任务,加大违规账号与机构查处力度,强化AI应用关键环节管控,推动平台提升AI风险防控能力,努力维护清朗网络空间秩序,促进人工智能健康发展。