智囊视角 | 把牢AI治理关口:深度伪冒、智能欺诈与算法定价等乱象的规制之道
生成式人工智能技术的迅猛演进,正深度重塑社会生产与生活模式。据统计,截至2025年12月,国内生成式人工智能用户已突破6.02亿,深度融入内容生产、电商直播、医疗健康及教育培训等诸多领域。然而,技术红利释放的同时,深度伪冒、智能欺诈、算法定价扭曲等滥用现象愈演愈烈,民众合法权益频遭侵害,市场运行秩序受到干扰,社会互信根基遭到侵蚀。亟须建立"法律托底、技术制衡、协同治理"的新型治理框架,为人工智能产业的健康发展守牢安全红线。
一
当前人工智能领域的核心风险隐患
(一)深度伪冒技术失控导致信任崩塌
深度伪冒技术本属人工智能领域的前沿成果,如今却被不法分子改造为"造假工具箱"。仅需获取一张肖像、一段声纹,数分钟内即可产出难辨真伪的多媒体内容,从根本上动摇"眼见为实"的认知根基。名人肖像盗用与逝者数字化形象商业开发已成泛滥之势:2025年6月,北京市海淀区市场监管部门查处全国首起AI冒用央视主持人李梓萌名义的虚假广告案件,某企业借助AI剪辑技术拼接主持人影像,为普通食品"深海多烯鱼油"夸大宣传医疗疗效,严重触犯《广告法》相关规定;同年,乔任梁、李玟等已故公众人物的数字化形象亦被大量用于美妆、餐饮等行业的短视频推广,亲属多次公开抗议,严厉谴责技术滥用对逝者尊严的践踏。AI换脸欺诈更是触及刑法边界,2025年8月,绍兴市上虞区人民法院审结一起AI换脸抢购茅台酒案件,犯罪团伙通过合成动态面部信息突破人脸识别系统,非法捣乱3400余条公民个人信息、抢购60余瓶茅台酒非法转售获利。
(二)电商直播场景智能骗局层出不穷
电子商务与直播带货作为数字经济的核心支柱,已成为智能骗局的重灾区。其一,交易双方利用AI技术双向欺骗现象屡见不鲜。部分消费者借助AI伪造商品缺陷图像申请"仅退款",如电池渗漏、服装破损等虚假图片层出不穷,迫使商家要求用户与快递单据同框录制视频核实;另一方面,部分商户运用AI炮制虚假商品图景,如外卖平台"网红餐饮"以AI生成精致装修效果图招揽顾客,实际经营场所仅为不足5平方米的简陋厨房。目前AI生成门店外观图服务最低仅售10元,相关成交订单已超4万笔。其二,直播领域AI滥用更具迷惑性。部分主播利用AI合成虚拟背景与弹幕信息刺激消费欲望,平台"智能陪聊打赏系统"诱导用户持续充值。2025年"双十一"期间,多地爆发知名艺人遭AI仿冒直播带货事件。行业调查显示,全国逾三成头部直播商户曾遭受AI盗播侵扰,部分服装类商户核心客户流失率超20%,月度营收降幅接近百万元。
(三)算法定价扭曲催生隐性数字不平等
相较于显性造假欺诈,算法定价扭曲作为更为隐蔽的智能乱象,正在人才招聘、金融信贷、教育培训等关键领域制造新型社会不公。在人力资源环节,部分智能系统自动压低女性、高龄或特定区域应聘者的综合评分,甚至直接筛除简历,导致特定群体获取面试机会的概率大幅下降。在金融服务领域,算法基于消费偏好、社交圈层等非金融指标进行信用评级,惯于选购平价商品者可能被标签化为"低信用群体",即便具备优良还款记录也难以享有平等服务。此类隐性排斥客观上加剧了社会阶层分化与数字鸿沟扩大。
(四)智能生成内容对知识产权保护构成冲击
人工智能技术进步对既有知识产权保护机制提出新课题。部分智能系统未经授权抓取原创文字、图像、音视频素材进行模型训练,产出高度近似内容,实质上形成变相剽窃。2025年,周星驰执导作品的智能影像被加工为特效商业传播,超89万人次使用该特效,原创者未获授权却坐收流量红利,引发广泛肖像权争议。同时,智能生成内容的著作权归属问题尚存法律盲区,现行框架对AI创作成果的法律定性、权利分配缺乏清晰界定,致使原创主体举证困难、维权代价高昂,阻碍数字内容产业的创新活力释放。
二
问题成因剖析
(一)技术壁垒消解与黑灰产链条化运营
生成式人工智能的开源化、普惠化趋势,显著压低了技术滥用门槛。当前依托"开源模型+云端接口",仅需30秒即可完成声纹与面部特征克隆,制作一条虚假名人带货视频成本不过数百元,却可攫取数十倍的非法收益。不法分子已形成"技术加工—流量导流—非法变现—黑灰产支撑"的完整产业化链条,技术更新速率远超监管治理的响应节奏。
(二)监管框架存在立法缺位与执行薄弱
现行法律体系对智能应用的规制尚存明显短板。一是智能创作成果著作权归属、数据抓取侵权边界等缺乏清晰界定。二是智能虚假宣传、侵权行为的归责认定复杂,平台方、技术供应方、内容生产方之间的责任分担标准模糊。尽管《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等规章已颁布实施,但相关处罚条款细化不足,实操性偏弱,执行效能尚待增强。
(三)平台主体责任落实不力
审核机制存在明显漏洞
部分平台对智能内容的审核机制尚不健全,流于表面,对用户真实身份的核验监督力度欠缺。个别平台甚至为智能滥用提供技术辅助与传播通道,未切实履行审核职责。同时,虽要求所有智能生成内容附加标识,但用户可轻易消除水印,平台难以实现有效识别与源头追溯。
(四)公众认知滞后,辨识素养亟待加强
"有图有真相"的传统判断标准已随智能技术发展而失效,但多数民众对此认知不足,易被虚假信息蒙蔽甚至沦为骗局牺牲品。此外,部分民众法治观念淡薄,未能充分认识利用智能技术造假欺诈的违法本质,客观上纵容了乱象的扩散蔓延。
三
治理路径建议
(一)健全法律法规体系
夯实法治根基
建议加速推进人工智能专项立法进程,明晰智能生成内容的法律性质、权利归属及侵权判定基准,细化平台方、技术供应方、内容生产方的责任分配。严格执行智能生成内容标识制度,要求嵌入难以篡改的显性标识与隐蔽数字水印,达成"可辨识、可追溯、可核验"。对人脸合成、语音复刻等高风险智能工具实施备案许可管理,规范训练数据的采集使用,从源头遏制技术滥用风险。
(二)增强技术制衡能力
提升数字治理水平
加大监管技术研发资源投入,重点攻克深度伪冒识别、数字水印溯源等关键技术瓶颈。推动监管范式由"事后处置"向"事前审核+事中监测+事后追责"全周期管理转型,实现高风险领域"智能审核+人工复核"全覆盖。构建智能应用安全评估机制,将违规主体纳入全国信用信息共享平台,实施交易冻结、永久封禁、行业禁入等严厉措施,大幅提升违法代价。
(三)汇聚协同治理力量
推进常态化专项整顿
建议相关职能部门联合开展常态化专项整顿,聚焦直播盗播、外卖虚假宣传、智能换脸欺诈等重点领域强化查处力度,定期公开曝光典型案件形成强力震慑。畅通社会监督路径,整合既有举报平台设立智能滥用专项通道。推动行业协会制定自律公约,引导企业强化内部合规管控。深化公众科普教育,借助典型案例警示宣传,提升全社会对智能虚假内容的辨识能力与法治素养。
人工智能技术的良性发展,离不开规范有序的制度生态。面对深度伪冒、智能欺诈、算法定价扭曲等突出问题,必须统筹发展与安全,加快形成政府主导、平台担责、公众参与、技术赋能的综合治理格局,为人工智能高速列车把牢"安全关口",确保其在法治轨道上稳健前行。
作者:周学军、王晓晴、金鑫、沈冰清
END
智库观点 | 宇树英伟达联手:具身智能产业"身体"强,更要"大脑"安
智库观点丨数据是AI的"粮食",高质量数据集这道"菜"怎么做?
智库观点丨警惕"解压"变"暴力":"娜塔莎"等低俗解压玩具风险透视
世界海洋日专题 | 借鉴沪苏鲁经验 加快浙江船舶海工产业高端化智能化绿色化转型
长按识别二维码关注