AI编程评估为何逐渐失灵？OpenAI撤销SWE-Bench Pro推荐

数月前，OpenAI还曾向业界推荐使用SWE-Bench Pro来衡量前沿模型的编程水平。而如今，这一推荐已被撤回。2026年7月，OpenAI公布了对SWE-Bench Pro的审查结论：在公开测试集涵盖的731个任务里，自动审核流程判定其中200个任务存在问题，占比达27.4%；人工标注则认定249个任务存在问题，占比34.1%。综合两类审核结果，OpenAI估算公开任务中约有30%属于"劣质"任务。所谓"劣质"，并非指题目难度过高，而是指测试本身无法准确判定模型是否真正完成了任务。模型可能给出了合理