标签

AI智能体时代来临 安全防护加速升级

在2026世界人工智能大会暨人工智能全球治理高级别会议(WAIC 2026)上,人工智能安全治理成为热议焦点。随着大模型迅速向智能体时代演进,AI正从“提供答案”转向“独立执行任务”,如何在能力不断突破的同时确保安全受控,已成为产业界和学术界共同聚焦的关键话题。 为何智能体安全成为今年AI治理的核心议题?一个重要转变是,以往人工智能安全主要关注模型“输出内容”,而步入智能体时代,焦点正转移到AI“采取行动”。安全问题不再局限于防止模型产生错误回复,而是要保障整个系统的决策与操作保持在可控范围内。 在7月1

2026-07-20 09:06:34  |  10 阅读

沪上AI科研力量聚焦17项核心议题,破解AI安全治理深层次难题

据新华社最新消息,中美两国已达成共识将启动人工智能领域的政府间对话机制,双方应共同推动人工智能技术的发展与管控,使该技术更好地造福人类文明发展并惠及国际社会整体利益。全球范围内的人工智能发展与治理议题正引发广泛热议。作为服务全人类的国际公共产品,人工智能亟待各方携手治理;与此同时,随着其能力边界不断拓展,安全隐患呈现碎片化与复杂化趋势,行业迫切需要探索创新性的安全机制、防护方案与协同模式。日前,上海人工智能实验室(上海AI实验室)发起并承办了第三届奇点科学会议(明珠湖),以"安全可信AI:从边界探索到体系

2026-05-21 23:11:10  |  11 阅读

AI安全威胁 | 2026.05.16

今日要闻 TOP NEWSAnthropic核心模型突破苹果Mac防护系统 安全研究机构Calif专家证实,通过Anthropic测试版"神话"(Mythos)AI系统的实验方法,能够连接两个安全缺陷从而绕过苹果Mac设备的顶级内存保护体系,达成权限升级。此类攻击手段一旦与其它技术结合,入侵者或可全面掌控目标设备。这标志着AI大模型首度被验证能够直接破解主流操作系统的核心防护框架。▸ AI系统从防护工具演变为攻击载体,推动操作系统防护体系革新

2026-05-16 09:19:52  |  29 阅读