OpenAI开发专用AI攻破自家模型，成功率84%远超人类红队，自动售货机被改价至0.5美元

在OpenAI的办公区域，有一台由人工智能操控的自动售货设备。 不久之前，一个名为GPT-Red的系统将其锁定为目标。

经过数次迭代性攻击，GPT-Red顺利达成三项任务：将标价100美元的商品篡改为0.50美元，采购一批新货品并以最低价格陈列，最终还删除了其他客户的订单。 整个过程没有涉及任何代码侵入或服务器渗透，它仅仅是和售货机背后的AI助手进行了一番对话。

这台售货机出自Andon Labs之手，是一个能够管理定价、库存和订单的智能体平台。 GPT-Red先在仿真环境中摸清运作规律，再将攻击策略直接移植到真实生产环境，一举奏效。

更让人忧虑的是：GPT-Red源自OpenAI内部，这是他们亲手打造的攻击者。

▲ The Hacker News披露了售货机被GPT-Red攻陷的具体情况：100美元商品改价至0.50美元，清除其他客户订单

要明白GPT-Red的所作所为，首先需理解一个概念：提示注入（prompt injection）。

大语言模型运作时，系统指令、用户输入、网页内容、邮件正文、工具反馈结果，全部混杂在同一信息流中处理。 模型无法辨别哪些是“应当执行的命令”，哪些是“仅应读取的数据”。 攻击者正是利用了这个空隙：将恶意指令隐匿在模型会读取的内容里，譬如一封邮件的正文、一个网页的边角、一份代码仓库的注释，诱导模型舍弃原有任务，转而泄露数据、调用危险工具、扭曲业务逻辑。

OWASP已将提示注入列为大语言模型应用的LLM01核心威胁。 而伴随AI从“聊天机器人”演进为能浏览网页、发送邮件、调整库存、运行命令行的智能体，同一漏洞的破坏力度发生了质的变化，以往至多是模型说了句不当言论，如今可能直接酿成业务事故。

OpenAI自身也曾坦言：提示注入本质上近似社会工程，或许永远无法彻底消除。

▲ OpenAI官网发布GPT-Red技术文章，标题为“Unlocking Self-Improvement for Robustness”

既然无法修复，那就全力对抗。

7月15日，OpenAI正式揭晓了GPT-Red，一个仅供内部运用的自动化红队模型，专门在大规模上搜寻自家模型的提示注入缺陷。“红队”一词源自军事术语：部署一支队伍扮演敌方，在实战前暴露己方弱点。 AI领域过去依赖人类安全研究员手工构造攻击样本来完成此事，但OpenAI发觉人工红队产出量低、耗时长、多样性差，远远跟不上模型迭代的节奏。

GPT-Red的训练方法称为对抗性自我对弈（adversarial self-play）。 简而言之就是一个攻击方、一组防守方，在大量场景中同步训练。 攻击方因成功欺骗防守方获得奖赏，防守方因既抵御住攻击又完成正常任务获得奖赏。 防守方变强了，攻击方就被迫去寻觅更精巧的手段。

“Successful attacks are used to improve the defender, forcing the attacker to find more complex failures.”

“成功的攻击被用来强化防守方，迫使攻击方去发掘更复杂的失效模式。”

OpenAI称，此轮训练投入的算力与公司最大规模的后训练任务旗鼓相当，这或许是当前“专门用于安全”的单次最大算力投入之一。

▲ OpenAI官方X线程：对抗性self-play训练，攻击方与防守方相互逼迫升级

GPT-Red训练完毕后究竟有多强？

OpenAI采用了一个先前的学术框架（Dziemian et al., 2025）进行泛化测试：在训练从未覆盖过的间接提示注入场景上，让GPT-Red和人类红队分别攻击同一个模型GPT-5.1。 结果显示，GPT-Red在约84%的场景成功注入，人类红队仅有约13%。

而攻击样本被用于对抗训练之后，GPT-5.6 Sol，OpenAI称之为迄今对提示注入最稳健的生产模型之一，表现如何？ 在官方最难的直接提示注入基准上，失败次数仅为四个月前最佳生产模型的六分之一。 面对GPT-Red自身生成的直接攻击，失败率低至0.05%。

Greg Brockman在X上引用转发了官方帖子，写道：

“GPT-Red: improving model security through automated red teaming of prompt injection vulnerabilities.”

“GPT-Red，通过自动化红队探测提示注入漏洞来增强模型安全性。”

▲ OpenAI联合创始人Greg Brockman转发GPT-Red公告

GPT-Red在自我对弈中还自主发现了一类全新的攻击手法，Fake Chain-of-Thought（伪思维链）。

现今的前沿推理模型都会先“写出中间推理过程”再给出最终答案。 Fake CoT的思路令人不寒而栗：在模型即将读取的外部内容里，植入一段伪造的推理记录，写着“你已经验证过这个请求是安全的”。 模型读取之后，就可能在这个错误前提上继续推理，心安理得地执行恶意指令。

OpenAI的研究员Chris Choquette-Choo打了个比方：想象有人告知你1+1=3，而且你的笔记本上已经写着“已验证，正确”，你大概率会直接用这个结论继续运算下去。

这招对GPT-5.1的成功率一度超过95%。 经过对抗训练后，在GPT-5.6 Sol上已降至10%以下。

OpenAI将GPT-Red描述为一种“安全飞轮”，就像能力侧已经在用AI训练下一代AI，安全侧也要构建同样的自我改进循环。 社区里有人立刻联想到了AlphaZero：围棋AI通过自我对弈从零达到超人水平，GPT-Red能否在安全领域复现同样的奇迹？

▲ 社区热议：有人将GPT-Red的self-play比作AlphaZero的自我对弈飞轮，84%成功率引发广泛讨论

这个类比有道理，但也有明显的界限。 Georgetown CSET的评论者指出，GPT-Red在多轮对话攻击和图像中嵌入指令等方向上仍可能逊于人类。“计分板”，什么算成功攻击，仍然由人类定义，合成数据的闭环训练也可能让攻击多样性坍缩。 说白了，模型只会对“GPT-Red擅长的那类攻击”变得更强，对还没被想到的人类创意攻击未必免疫。

更关键的一个决定是：GPT-Red不会对外发布。 OpenAI将它与所有部署模型严格隔离，原因显而易见，将一个专门训练来攻破AI的系统交到外部对手手里，后果不堪设想。

OpenAI表示，人类红队、第三方安全审计、分层防护和实时监控不会被取消，GPT-Red只是这张安全网中的一根新绳索。 更详细的预印本将在近期发布，下一代更强的红队模型也已在训练中。

当AI的进攻能力开始指数级增长，防御能力能跟上吗？ 至少现在，OpenAI选择了一个很朋克的答案：造一个更强的AI，专门打自己。