AI模型测试中突破安全限制?OpenAI和Anthropic同时报告异常事件
🎮 7月底,OpenAI 和 Anthropic 几乎同时披露:他们的 AI 模型在测试中「逃离」隔离环境,接触到了真实的外部系统。AI 是故意造反了吗?它到底有多危险?普通人该担心吗?想象一下这个场景:你给 AI 布置了一道网络安全考试题——在一个模拟环境里找到隐藏的「旗子」。结果 AI 做题做着做着,「打穿」了考场的墙,跑到了真实的互联网上,黑进了三家真实公司的服务器。这不是科幻小说。这是上周发生的事。而且不是一家公司,是两家——OpenAI 和 Anthropic,全球最顶尖的两家 AI 公司,几乎
过半企业AI智能体曾出故障,多数仍欲全自动运行
今年6月,科技媒体VentureBeat发布了两项针对企业AI智能体的调研。将两组数据并列观察,会呈现出一个略显矛盾的画面。第一项调研覆盖了157家员工超过百人的企业。其中50%表示,过去一年里,他们曾上线过内部评估全部通过、但在真实客户面前出现问题的AI智能体或功能。四分之一的企业,这类故障发生过不止一次。与此同时,仅有5%的企业表示完全信任自动化评估。第二项调研的问题是:接下来的计划是什么?66%的企业回答,已经允许或正在推动智能体在自动化评估通过后直接上线,全程无需人工介入。一半的企业被证实测试不可