标签

AI互攻:OpenAI用红队测试打磨GPT-5.6

让AI攻击AI,看似机智,但漏洞一旦暴露,也可能被恶意利用。OpenAI推出了GPT-Red,专为对抗自家模型设计的AI系统。它负责挖掘GPT-5.6的缺陷、构造对抗样本、诱导模型异常行为,所获数据用于优化下一代模型。这一机制称为"红队测试"。01 红队测试为何关键大模型的安全性不仅取决于其训练内容,更取决于面对恶意输入时的反应。GPT-Red可批量生成绕过安全过滤的提示变体,帮助OpenAI在发布前系统性发现并修补攻击路径。这是AI安全领域广受认可的核心方法。图1:AI红队测试流程 ·

2026-07-18 08:21:56  |  13 阅读

OpenAI推出AI红队模型,专攻对手漏洞

利用AI攻击AI,进而提升被攻击模型的防御能力。这一思路看似荒诞,但OpenAI此次将其成功落地为工程实践。7月15日,OpenAI正式发布了名为GPT-Red的自动化红队系统。有别于传统的人工安全评估,GPT-Red的核心职责是持续构思新型攻击手段,以诱导其他AI模型做出非预期行为。简言之:它并非安全辅助工具,而是攻击发起者。只不过该攻击者的最终目的,是促使下一代AI模型实现更高级别的安全防护。图1:GPT-Red工作原理示意 ·

2026-07-17 08:45:17  |  9 阅读

AI安全与基建:2026年科技前沿速览

AI科技日报安全、端侧与基础设施GPT-Red · 数据中心 · 端侧AI · WAIC · 光互连芋泥AI科技日报01PART今日快讯(一句话速览)ONE-LINE BRIEF•OpenAI发布GPT-Red自动化安全红队系统,官方称其通过self-play训练提升提示注入与越狱测试能力,表明前沿模型竞争已从性能比拼转向构建自动化安全对抗基础设施。•OpenAI同日推进“州法规+联邦框架”AI治理路径,主张以州级共识先行形成事实性全国标准,市场焦点正从“是否监管”转向“如何统一规制”。•纽约州宣布暂停大

2026-07-17 06:10:22  |  12 阅读

OpenAI开发专用AI攻破自家模型,成功率84%远超人类红队,自动售货机被改价至0.5美元

在OpenAI的办公区域,有一台由人工智能操控的自动售货设备。 不久之前,一个名为GPT-Red的系统将其锁定为目标。经过数次迭代性攻击,GPT-Red顺利达成三项任务:将标价100美元的商品篡改为0.50美元,采购一批新货品并以最低价格陈列,最终还删除了其他客户的订单。 整个过程没有涉及任何代码侵入或服务器渗透,它仅仅是和售货机背后的AI助手进行了一番对话。这台售货机出自Andon Labs之手,是一个能够管理定价、库存和订单的智能体平台。 GPT-Red先在仿真环境中摸清运作规律,再将攻击策略直接移植

2026-07-17 05:58:27  |  10 阅读

解读|2026广东AI训练师报名新政策:要求、步骤、地方补贴变化(OpenAI推出GPT-5模型:推理性能飞跃,集成即时安全机制)

2026年6月27日,OpenAI在旧金山举行发布会,正式亮相新一代大模型GPT-5,凭借3.2万亿参数架构实现推理和编程能力的双重突破,同时部署红队协议2.0动态安全系统,吸引全球上千名专业人士现场参与,百万观众线上观看。性能指标显示,GPT-5在MATH数学基准上比GPT-4提高28%,HumanEval代码通过率上升35%,复杂数学推理和工程代码生成的错误率明显降低。现场开发者测试,模型能完整解析大学物理推导、一键创建带验证逻辑的电商接口代码,极大减少开发调试成本。此次关键创新是红队协议2.0,不同

2026-07-05 18:59:57  |  39 阅读

评论 | 6月AI伦理新规落地,是护航者还是绊脚石?

今年发布的《人工智能科技伦理审查与服务办法(试行)》,开启了人工智能科技伦理审查与服务的先导试点,以实践探索推动规则落实。该先导计划的执行期为2026年6月1日至11月30日,试点阶段各城市将根据自身情况制定相应的实施细则与操作方案。这份试行办法由多家机构共同编制,中国科协也是核心发起方之一。纵观发展轨迹,国内AI伦理体系逐步完善:2017年《新一代人工智能发展规划》初次把伦理要求列入国家战略;2022年《关于加强科技伦理治理的意见》构建了科技伦理治理的基础制度架构;直到此次专门办法的实施,AI伦理实现了

2026-06-30 10:02:34  |  18 阅读

Mythos AI闪电突破NSA防线;OpenAI上线GPT-5.5-Cyber增强版 | FreeBuf周报

各位 Buffer 周末好,以下是本周「FreeBuf周报」,我们总结推荐了本周的热点资讯、一周好文,保证大家不错过本周的每一个重点!Anthropic的Mythos AI模型数小时内渗透NSA机密系统,促使美国首次对AI模型实施出口管制,引发国际盟友不满。Anthropic辩称仅为代码修复行为,正寻求恢复访问并与政府协商风险管理框架。OpenAI发布GPT-5.5-Cyber强化版,助力漏洞发现与修复,同步升级Codex Security插件并启动"Patch the Planet"计划

2026-06-27 16:33:29  |  19 阅读

AI资讯:白宫限制Anthropic出口,NSA高端模型访问受阻

【美国“防务一号”网站6月24日报道】因白宫基于国家安全考量对Anthropic公司施加出口禁令,美国国家安全局(NSA)的部分分析人员已被告知将无法再使用Mythos 5模型。受该事件波及,军民部门官员原本正在评估的借助高级模型侦测系统软件漏洞的计划或面临阻碍。不过,据内部消息人士指出,依据早前达成的协议,NSA或许依然能够使用该技术的旧版本。本次管控起因于白宫本月对Anthropic实施的出口管制行动,迫使该公司减少了涵盖Mythos 5与Fable 5等尖端模型的推出。早前有报道提到NSA局长对My

2026-06-25 07:13:20  |  18 阅读

LeoAI:AI驱动的后渗透自动化平台

LeoAI 是一款面向红队的后渗透管理平台,定位类似于冰蝎、哥斯拉等 WebShell 管理工具,但集成了 LangChain4j 的智能代理功能,让侦察、提权、凭据收集和横向移动等操作由 AI 自动执行,无需手动输入命令。底层基于 Spring Boot 3.5 和 LangChain4j 1.16,内置 SQLite 数据库,Web 界面打包在 JAR 文件中,只需下载一个 jar 包即可启动。它还提供 18 种中间件的内存马生成、HTTP/HTTP Chunked/WebSocket 三种通信通道、

2026-06-24 14:57:21  |  14 阅读

AI安全技能框架:自动化渗透测试AI应用系统实战

首席信息安全技术官Jason Tian:OSCE3(OSEP、OSWE、OSED)、OSCP、CISSP认证专家,专注安全研究,涵盖EDR终端对抗、二进制漏洞挖掘、Opsec后渗透武器库开发及红队全方位技战术研究。曾参与境外APT组织分析与对抗,涉诈等黑灰产产业链追踪溯源,并担任多单位内部红队培训特聘讲师。随着大模型应用在各行业迅速普及,AI安全问题愈发严峻。提示词注入、知识库泄露、工具滥用等攻击方式层出不穷,传统安全测试手段难以应对AI特有的攻击面。ai-security-skills是一套为AI安全红

2026-06-20 17:57:00  |  8 阅读

AI论文精选:可重复性、机器人优化与健康评估新进展

1. 利用GitHub问题提升可重复性审计:ReproRepo通过标准化流程实现规模化验证 原文标题: ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues 发布时间: 2026-06-16 论文链接:http://arxiv.org/abs/2606.18237v1 复现研究结果的论文与代码发布是科学进步的核心环节。现有工作已构建基准测试来评估大语言模型代理在可重复性审计中的作用,但存在数据标注和人工评估成本过高、

2026-06-18 07:32:00  |  14 阅读

腾讯开源AI安全检测平台!一键扫描风险、生成报告,免费解决企业AI防护难题

AI系统安全漏洞频发如何应对?这款开源平台提供全链路风险检测,全面保障AI系统安全。腾讯朱雀实验室推出的AI安全检测平台,提供一站式AI设施漏洞扫描、大模型防护能力测试、智能体风险排查服务。目前许多AI系统上线后存在漏洞和攻击风险,传统检测工具功能单一。该平台能快速完成安全检测并生成报告,有效解决企业AI安全检测困难、防护薄弱的痛点。源代码:https://www.gitcc.com/wenyuan/ai-infra-guard-cn核心功能全栈设施扫描:覆盖68种主流AI组件,匹配千余条漏洞,自动检测配

2026-06-13 08:30:38  |  18 阅读

AI能否突破安全边界?纯黑盒视角下的9.8分RCE 0day发现实录

标题有些夸张,但过程完全属实,这是我们在测试全新工具首日就发现高价值0day的真实经历。我们部署了三个 DeepSeek agent 对一组目标进行扫描。它们从公开漏洞情报中锁定攻击面,绕过了厂商针对历史漏洞的修复措施,成功获得RCE。起初我们以为这是个已知漏洞,直到厂商确认这是全新的漏洞并发放了奖金,CVSS评分9.8。在此之前,许多人质疑AI能否替代顶尖红队,我们也对AI在真实攻防场景中的能力存疑。各类开源或初创公司的项目及介绍,总局限于靶场和CTF环境,偶尔有能应用于SRC的,但从未有公开的黑盒挖掘

2026-06-09 01:25:01  |  12 阅读

中美携手筑牢AI安全防线:合作势在必行

中美携手筑牢AI安全防线:合作势在必行Christina Knight哈佛大学智能设计和工商管理硕士候选人。曾领导Scale AI的安全和政策研究实验室,并担任美国人工智能标准和创新中心的高级政策顾问Scott Singer卡内基国际和平基金会技术和国际事务项目研究员Foreign AffairsApril 7, 2026导读随着人工智能深度融入中美经济与战略博弈,该技术也带来了无国界的极端风险。任何个人或组织都可能利用AI模型或组合模型设计危险病原体,攻击电网或医院网络,或制造侵蚀信任的深度伪造内容。因

2026-06-06 21:23:22  |  36 阅读

AI红队:从Prompt测试到系统影响验证

许多团队开展AI红队工作的初始步骤,通常是构建prompt样本库。包括越狱攻击样本。提示注入攻击样本。敏感内容触发样本。幻觉诱导样本。多轮对话攻击样本。这个阶段必不可少。然而当AI应用已发展至Agent、RAG、MCP、浏览器、办公助手及代码辅助工具等复杂形态时,仅检测"模型是否会输出不当内容"已显不足。因为实际威胁并不仅限于文本输出层面。真正的风险出现在模型与工具连接之后。早期大模型红队工作主要聚焦于模型输出:这些评估依然关键。但它们主要解决一个核心问题:模型会说什么?而在Agent时代需要追问另一个问

2026-06-04 10:08:58  |  11 阅读