揭秘Token：AI时代的隐形货币

揭秘Token：AI时代的隐形货币

使用ChatGPT、豆包、Kimi或DeepSeek时，其实每聊一句，都在消耗一种名为“Token”的资源。许多人未曾察觉，但它已演变为当下最昂贵的“隐形商品”之一。

来看一组数据：2026年3月，国家数据局数据显示，中国日均Token调用量已突破140万亿次。这相当于每天全国AI系统累计“读写”了140万亿个信息碎片。而在2024年初，这一数字仅为1000亿——短短两年间，增长了1000多倍。

更有趣的是，该词如今拥有了官方中文译名——“词元”。

图1 身边无处不在的“隐形消费”

一、什么是Token？——机器理解的“最小单元”？

人类阅读文字通常按“词”或“字”进行，但计算机无法识别汉字或英文单词，它只识别数字。因此，文本送入大模型前，必须经过“翻译”步骤：将文字拆解为小块，再将每块映射为数字编号。这个“拆解”过程称为Tokenization（分词），拆解出的每一小块即为一个Token。

图2 被拆解的文字

此处常易混淆：Token既不等于“字”，也不完全等于“词”，而是介于两者之间的“子词”单位。例如，英文单词“artificial”在许多大模型中会被拆分为“art”、“ificial”等2-3个Token；而“I”、“a”等短词则通常作为一个Token。中文同理，据主流模型文档显示，约1.8个汉字对应1个Token。

这种“拆法”是如何确定的？主流方案为字节对编码（BPE）。其原理简单：先将文字拆至最小字符，统计语料库中字符组合频率，将高频组合“合并”为新单元，反复迭代，直至形成数万至数十万的“词表”。这正如我们学习英语时自然记忆“tion”、“ing”等组合，机器也是通过统计频率，学会将特定字符组合“打包”成整体。

需注意，不同厂商的分词器切法各异。同一句英文在OpenAI模型中可能是6个Token，在Claude模型中可能仅为4个。因此，相同对话在不同AI下计费Token数可能不同——这也是为何相同对话内容，有的平台“速度快且费用低”，有的“速度慢且费用高”，根本原因在于分词效率的差异。

一句话概括：Token是大模型处理文字的最小语义单元，AI无法理解完整句子，需将文本切碎成块再转化为数字运算。

图3 不同模型分词效果对比

二、Token重塑职场——工程师的Token薪酬单

接下来介绍一个有趣且新兴的现象——Token正演变为一种新型薪酬形式。

今年3月GTC大会上，黄仁勋提出惊人观点：英伟达工程师除基本年薪外，将获额外“Token预算”，约为年薪的一半。即年薪50万美元的工程师，将获25万美元Token额度调用AI，以放大十倍生产力。他直言，若年薪50万美元的工程师一年仅用5000美元Token，会因浪费公司宝贵资源而“抓狂”。

图4 Token薪酬单

此非空谈。硅谷已出现此类现象：面试时候选人会问“岗位配多少Token”，这已成为继工资、期权、奖金后的“第四种薪酬”。报道称，有工程师半年AI推理费用从年7200美元飙升至超10万美元——因AI编程助手可无人值守连续工作，自动派生“子助手”并行，每步飞速消耗Token。

背后逻辑已变：“用AI提升效率”曾是口号；如今Token消耗量已变为可考核、可入KPI、甚至作为招聘筹码的硬指标。国内已有创业公司从去年底开始给技术团队下达“每日Token消耗”考核指标。

结语：一词两界

最后延伸一个小彩蛋：“Token”一词在AI领域外，早存在于加密货币领域，指链上“代币”或所有权凭证。两领域用同一词，含义迥异——前者是“计算的原子、算力货币”，后者是“数字世界所有权凭证”。有趣的是，近期已有讨论称两个“Token”世界正在交汇——例如AI智能体未来可能需自备“数字钱包”结算算力费用。

图5 两个Token世界的交汇

蔡远江，重庆大学无线通信技术实验室硕士生，研究方向为智能信号与信息处理。

点个在看，你会更好看！