标签

AI Token产业调研要点2

发布时间:2026-05-05 08:59来源:微信阅读:4

1、官方界定(2026年3月权威发布)

Token(标准中文译名:词元):由全国科学技术名词审定委员会与国家数据局共同确认,指AI大模型在处理、存储及传递信息时所使用的最小语义片段,是支撑模型理解与生成内容的基础计算载体。

从构成形态来看,它既可能是单个汉字、词语、词根、词缀,也可以是标点符号、数字或表情符号等。

关键作用包括:作为模型训练与推理的基础计量单元、作为API调用与计费的计量单位,以及用于衡量与限制上下文长度。

大致换算:1000Token≈650个中文字≈750个英文单词(具体会随AI模型的分词方式而变化)。

在问答对话、长文总结、Agent任务、代码生成与排错、多模态交互、企业客服等业务中,Token都可能被按需消耗。