标签

AI简报:智能体运行时安全成AI防护新焦点

每周AI要闻速递自2026年4月起,全球AI安全领域与产业界逐渐聚焦于“智能体运行时安全”。随着AI智能体从单纯问答演变为能自主操作工具、访问数据、调用接口及控制业务流程的“行动派AI”,传统的模型防护已捉襟见肘。微软、思科、多家初创企业及学术界近期密集发布了相关框架与产品,一致认为AI安全正从“模型输出安全”迈向“自主执行安全”阶段。该趋势的关键转折在于:旧有的AI多侧重于“内容生成”,风险多在输出端(如幻觉、有害内容);而如今的Agentic AI开始“执行动作”。一旦具备文件读写、系统控制、代码执行

2026-05-11 14:20:04  |  6 阅读

AI安全威胁解析(五)| 探究智能助手被操控的机制

行为控制陷阱:从"影响"到"劫持"这是「AI安全风险」系列的第5篇。基于Google DeepMind论文《AI Agent Traps》。· · ·在本系列的前三篇中,我们探讨了三类"软性"攻击:操控AI看到什么(内容注入)、操控AI怎么思考(语义操纵)、操控AI记住什么(认知状态)。这三类攻击的共同特点是"间接"——它们通过修改信息环境来影响AI的判断,但AI在形式上仍然在"自主"做出决策。今天要讲的这一类攻击,不再有任何

2026-05-01 21:41:04  |  7 阅读