AI落地入门:模型厂商互争第一,决策者该听谁的?
你是否碰到过这种场面,每场发布会都拿排行榜宣称自己第一,你对比了三家,结果冒出三个冠军。排行榜能不能信,关键在于你会不会看。第一,关注分项指标,别只盯综合分。综合分高的模型,在你所在的领域未必出色。你做中文客服业务,就该参考中文榜和对话能力榜,而不是去关注数学推理榜。第二,聚焦你所在行业的榜单。通用榜考察综合素养,代码榜考察编程能力,行业榜才真正测试你的业务场景。榜单选错,选出来的模型就匹配不上你的实际需求。第三,留意评测时间。模型每隔几个月就迭代一次,几个月前的榜单已经过时。查看榜单时先确认测试日期。1