AI编写补丁半数失效

眼下越来越多的开发者借助AI模型来编写代码，同时也开始依赖这类系统来探测漏洞并产出修复方案。然而遗憾的是，这些模型在处理这类任务时表现并不理想。

1Password旗下Off-By-1研究团队在近期举行的Black Hat USA与BSidesSF安全会议上披露了一项研究：他们针对六个近期曝光的高危CVE漏洞，借助OpenAI的ChatGPT-5.5和Anthropic的Opus 4.8两款具备网络安全专长的先进推理模型，生成了6,080份补丁。研究人员特意过滤掉了模型试图直接查找官方上游修复方案而非自主解题的运行记录。

结果显示，6,080份补丁中只有46%成功修复了底层漏洞，49%彻底失效，其中一些还额外引入了新的安全缺陷。1Password安全研究总监Keith Hoodlet指出，即便那些看似可用的补丁，往往也相当"脆弱"——仅能覆盖极少部分场景，或被较为简单的绕过手段轻易避开。

"基于我们对那些新颖、未被纳入AI实验室训练数据集的漏洞所开展的补丁研究来看，补丁的有效率实际上是负数。"他说道。

该研究项目被定名为FLAWED。

Hoodlet进一步指出："结论并非AI生成的补丁毫无用处——而是说它们仍离不开人工审核。AI确实能够加速开发进程、协助我们识别潜在的修复思路，但安全团队和开发者必须对补丁进行验证，确认其是否切实修复了底层漏洞、是否会引发回归问题、是否符合安全编码规范。"

应用安全企业Veracode的独立研究得出了类似结论。其研究简报指出，在涵盖100多个大模型、80个编程任务的测试中，AI生成代码的平均安全通过率只有56%，接近一半（44%）的代码引入了可被识别的OWASP Top 10漏洞。

Veracode首席架构师Sam Guyer谈道："这项研究表明，在存在多种可选实现路径的情况下，大语言模型在选择安全策略或不安全策略方面表现出极大的不稳定性。无论何种场景，其输出看起来都可能完整、可运行，但从安全角度审视依然不够可靠。"

Guyer建议道："开发者应将AI生成的代码与补丁视为'建议性的变更'，而非'经过核实的修复'。需要运行功能测试与回归测试，对涉及敏感或复杂的变更强制进行人工复核，再借助能够跨文件、跨依赖、跨调用路径追踪数据的全程序静态分析作为最后防线。"

更值得关注的是攻防能力之间的不平衡状态。Hoodlet说道："AI模型在漏洞利用方面的表现，反而比漏洞修补方面更出色。"这说明攻击者在运用AI方面占据着结构性优势。

Cursor发布的一项开发者习惯调查进一步加剧了这种担忧：数据显示，36%的AI生成代码变更被自动采纳，从未经过人工审核。

不过AI系统同样在持续演进。Hoodlet认为，随着相关"自动化框架（harness）"的逐步完善，这一问题在不久的将来有望得到缓解。开发者可能终将抵达这样一个阶段：由人类撰写更为严格的需求规格，再由AI系统以形式化方法验证代码是否切实满足规格。

"企业能够继续享用AI编码带来的生产力红利，但验证能力必须紧跟生成能力的扩张节奏。"Guyer总结指出。