智能时代词元如何定价?解读新型“水电”收费逻辑
词元是大模型的最小计量单位。用户向模型提问时,模型生成的每段回答,都按词元计数和计价,如同打电话按分钟计费、用流量按兆结算。 高质量的词元服务,不仅关注价格便宜。就像评价自来水,不能只看每吨水价,还要看水压是否稳定、拧开龙头多久出水、会不会频繁停水。 衡量词元服务质量,至少有三把标尺:一看每秒输出词元数,决定模型响应速度;二看首词元时延,即提问后多久出现第一个字;三看调用成功率,即服务稳定性。速度慢一半、频繁超时报错的低价词元,如同水压不足、时断时续的低价自来水,便宜未必是真实惠。 更要看到,高质量词元不