OpenAI推出AI红队模型,专攻对手漏洞
利用AI攻击AI,进而提升被攻击模型的防御能力。这一思路看似荒诞,但OpenAI此次将其成功落地为工程实践。7月15日,OpenAI正式发布了名为GPT-Red的自动化红队系统。有别于传统的人工安全评估,GPT-Red的核心职责是持续构思新型攻击手段,以诱导其他AI模型做出非预期行为。简言之:它并非安全辅助工具,而是攻击发起者。只不过该攻击者的最终目的,是促使下一代AI模型实现更高级别的安全防护。图1:GPT-Red工作原理示意 ·
AI红队:从Prompt测试到系统影响验证
许多团队开展AI红队工作的初始步骤,通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时,仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出:这些评估依然关键。但它们主要解决一个核心问题:模型会说什么?而在Agent时代需要追问另一个问