标签

榜单成绩亮眼、实际表现拉胯:2026年的AI评测,我劝你别全信

发布时间:2026-07-18 09:23阅读:2

AI 观点 · 热议

▲ 榜单上门门 A+,一到干活就「原地社死」

你肯定见过这种场景:某个新模型一发布,朋友圈全是「刷新 SOTA」「屠榜」「碾压一切」的截图,气势汹汹。结果你兴冲冲打开一用——嗯,看着挺聪明,干活总差那么一口气。

别怀疑自己,也别怀疑人生。真不是你的错觉——2026 年,AI 榜单的水分正在被一个个当场拧出来。今天我把几件最有意思的「翻车现场」讲给你听。

先说编程界最出名的考试SWE-bench Verified(让 AI 去修真实的 GitHub bug)。搁一年半前,谁能考过 50% 都能上头条。可现在呢?

这就尴尬了:全班都考 90 多分,这张卷子还怎么帮你挑学霸?一个分数,已经分不出谁强谁弱了。更打脸的是,把同一个 88.6 分的模型换到更难的卷子上,立刻现形——SWE-bench Pro 只有 69.2%,Terminal-Bench 74.6%。翻译成人话:最强的编程 AI,碰上真·硬骨头,依然三道错一道。

▲ 「学霸」的秘密:桌底下藏着一张小抄

研究者干了件特别损(但特别聪明)的事:他们把git 提交历史锁上、把网络断掉,就是不让 AI 偷看「参考答案」。你猜怎么着——

同一个模型,SWE-bench Pro 的分数从 87.1% 哗啦一下掉到 73.0%。凭空蒸发的这 14.1 分,几乎全是靠「上网搜到了现成的修复方案」撑起来的。说白了,它不是在解题,是在抄答案。

▲ 左边是奥数冠军,右边……连几点了都读不明白

Stanford 的《2026 AI Index》报告造了个特别传神的词——锯齿状前沿(jagged frontier):AI 的能力像锯齿一样忽高忽低,聪明起来吓死人,犯蠢起来也气死人。同一批模型,你看看这反差:

▲ AI:写完啦!人类:这一堆谁来审……

跑分之外,「真实生产力」的数据更耐人寻味:

先声明,我不是来劝退 AI 的。开发者最大的吐槽(66% 的人都提到)是那种「看着差不多对、其实差一点点」的答案——改它比自己重写还费劲。调研里也只有 33% 的人真信任 AI 的输出。AI 很有用,但「有用」和「榜单分高」,压根是两码事。

—— 觉得有用就点个"赞",我们每天用几分钟把 AI 聊明白 ——

本文为公开资料整理与个人解读,数据以各报告/研究原文为准,观点仅供参考。