网信办严打AI违规,Cursor事故凸显安全危机|DSP AI安全周报(4.24-4.30)

-数据安全技术研发中心-

DSP人工智能安全周报

20260424-20260430

本周网信办发起针对AI应用乱象的专项整顿，矛头直指备案登记、安全审核、训练数据、数据投毒及内容标识等基础合规环节，标志着监管重心正由“鼓励应用”转向“源头治理”。OpenAI与Anthropic相继更新安全与责任扩展页面，表明头部模型厂商持续将访问控制、滥用检测、研究工具权限及高风险场景响应列为近期治理核心。在技术产品层面，Cursor AI智能体误删生产数据库事件，将“自主系统权限边界”与“端侧AI治理隐私”问题推向风口浪尖。纵观全局，AI安全正从单纯“模型安全”向“系统、组织及社会层面的可信治理”延伸，智能体与端侧AI将成为未来数周需持续关注的风险放大器。

PART.1

治理、政策与合规生态

中央网信办部署“清朗·整治AI应用乱象”专项行动

本周最关键的治理举措，直接针对AI服务与应用的合规根基发力。第一阶段重点整治未依规履行大模型备案、安全审核能力缺失、训练语料安全隐患、AI数据投毒及内容标识缺失等问题。这表明监管焦点已从“是否使用AI”转变为“AI是否具备可审计、可追责、可标识的制度保障”。对企业而言，备案、审核、标识及语料管理将成为刚性合规要求，而非可选的最佳实践。（中央网信办）

发布时间：2026年4月30日

OpenAI更新社区安全治理框架

Our commitment to community safety

OpenAI明确表示，将对策划或实施暴力的用户采取行动，包括撤销访问权限。该页面涵盖威胁、恐吓、骚扰、恐怖主义、武器开发、非法活动及规避安全防护等高风险行为。这显示前沿模型厂商正将公共安全响应纳入平台治理体系。对于AI治理而言，此类声明的意义在于为后续的审核、封禁及升级处置提供公开依据。(OpenAI)

发布时间：2026年4月27日

Anthropic更新《负责任扩展政策》

Responsible Scaling Policy Updates

此次更新强调研究工具的最小权限原则，主张仅授予完成任务所需的访问权限。同时提及自动化软件清单管理，表明安全治理已开始延伸至开发与部署供应链。此类更新体现了“扩展能力”与“限制风险”同步推进的治理路线。对行业的启示是：安全框架不再仅管控模型输出，更涵盖研究过程、内部工具及资产管理。(Anthropic)

发布时间：2026年4月28日

UK政府推进AI聊天机器人监管

UK Government Children's Safety and AI Chatbot Powers: Two New Acts Receive Royal Assent

英国《儿童福祉与学校法》（CWSA）与《犯罪与警务法》（CPA）于4月29日获御准，赋予政府通过次级法规快速修订《在线安全法》（OSA）与UK GDPR的权力：可要求特定互联网服务“防止或限制儿童访问某些功能”（如社交、陌生人匹配、位置共享与时间限制），并调整数字同意年龄（13—16岁区间）；同时CPA新增条款，将更多生成式AI服务纳入OSA监管范围，要求AI服务提供者承担与违法AI内容及优先犯罪相关的风险评估与安全义务，并为后续配套细则设定明确时间表与问责机制。该进展意味着AI聊天机器人与在线儿童安全被整合进英国既有监管框架，企业需提前调整年龄核验与内容治理策略。(Bird & Bird)

发布时间：2026年4月30日

PART.2

模型内生安全与对齐

澳大利亚审慎监管机构警示AI治理缺口

APRA Warns Financial Firms to Close AI Governance Gaps

澳大利亚审慎监管局指出，金融机构在人工智能应用扩张速度上明显快于风险控制建设，现有治理、保障和运营韧性框架难以跟上AI系统的复杂性，呼吁银行、保险和养老金受托人强化模型监控、数据治理和网络安全控制，以免放大金融、运营和安全风险。(MEXC)

发布时间：2026年4月30日

链接：https://www.mexc.com/news/1066541

美国国会相关委员会关注中国模型安全风险

Chairmen Garbarino, Moolenaar Announce Joint Investigation into National Security Risks Posed by PRC AI Models

美国国会相关委员会宣布启动联合调查，重点审视中国开发的人工智能模型可能带来的国家安全与网络安全风险，尤其关注模型蒸馏、低成本开放权重模型与API可访问系统可能带来的