AI真的懂人话吗？

你以为模型在 "读汉字"，其实它先做了一道 "切分题"。模型会把输入的句子切成一个个最小处理单位，叫做token。一个 token 可能是一个字，可能是一个词，也可能只是词的一部分。比如 "地铁站" 可能是一个 token，也可能被切成 "地铁"+"站"，取决于模型的分词规则。切完之后，每个 token 会被转换成一个数字编号。但编号本身没有意义。就像身份证号 141121xxxxxxxxxxxx，你能看出这个人是内向还是外向