AI落地：务实才是真功夫

近期晚点Last Post刊登了一篇深度报道《当一个年轻人空降改造腾讯混元的三百天》，讲述了姚顺雨加入腾讯后对混元大模型底层架构进行全面重构的经历。

在AI相关产品与应用开发领域，业界普遍认同一个观点：评测环节不可或缺。

那么评测究竟有多关键？可以说，评测的价值甚至超越了模型本身。

近期我在项目中同样遭遇了多次类似困境。

以客服场景的语义分流任务为例。最初在实验阶段，我们采用了小规模语言模型处理语义分类任务，效果尚可，准确率约为70%。随后由于工作安排，我将项目转交给另一位同事继续推进，目标是将准确率提升至90%以上。

然而两周后当我再次审视数据时，发现部分场景的准确率仍停留在75%左右。我进行了全面排查，确认整个技术链路已搭建完成，但准确率就是难以突破。团队倍感困扰，两周时间内毫无进展。

前期实验阶段约束条件相对宽松，对准确率要求不高，主要验证方向和技术可行性，因此快速达到70%以上的准确率相对容易实现。

但进入后续优化阶段，从70%提升至90%的准确率过程中，评测集的作用就凸显出来了。我们在其他项目中有过成熟的高质量评测集管理经验，所以我原本预期团队会沿用这套方案。

然而现实情况是，当我深入检查整个评测流程时，发现评测数据质量堪忧，评测集管理杂乱无章。在这样的数据基础上进行调优，无异于盲人摸象，所有的优化都缺乏可靠的参照标准。

随后我们快速调整策略，对数据进行了系统梳理和清洗，效果立竿见影，优化进度明显加快。

每个人都想尽快达成90%的准确率，都希望获得更漂亮的测试分数，但真正的AI项目落地实际上是一项需要扎实功底的基础性工作。

前期的数据积累、评测集和验证集必须达到高标准。只有建立了高质量的数据集、评测集和验证集，你的评分才具备参考价值。

姚顺雨加入混元团队后，所做的工作本质上是回归本源，坚持守正出奇。他并非追求所谓的颠覆性新架构，而是在传统架构基础上进行基础设施重构，清除低质量数据，完善评测机制。

无论是前沿模型的研发，还是AI应用场景的实际落地，评测都至关重要，这里面容不得半点投机取巧。

AI落地的道路上没有捷径可言，也不要轻信他人掌握什么神奇秘诀。

与君共勉！

晚点文章链接：

https://news.qq.com/rain/a/20260713A0BD7C00?adChannelId=tech