AI术语解析：从入门到大模型进阶

这一波 AI 的迅猛发展，硬是逼得我这群‘想躺平却学不动’的老年人们不得不爬起来充电，没想到 AI 最先冲击了一大批程序员的饭碗（另一个强势的视频、图片生成处理分支也非常强悍）。。。

经过一番权衡，我觉得按时间脉络来梳理这些术语会更清晰，毕竟这些名词的出现也是 AI 发展到某一步自然而然的产物。

首先得承认，目前的 AI 编码技术还在极速演进中，绝非最终形态。

不管新名词层出不穷，归根结底核心技术还是 LLM 也就是大语言模型，接下来的一切发展都是为了解决 LLM 做不到 xxx 而搞出的中间层，也就是这一切的起点还是 OpenAI 当年发布的那个惊艳的聊天框。

为了方便理解，我将这些术语的发展过程划分为几个阶段：

起步期：LLM、Token、提示词、上下文、记忆

发展期：搜索、智能体（初版）、函数调用、MCP、RAG

可用期：智能体（进阶版）、LangChain、工作流、技能

成熟期：未来待定

当前热门工具：CodeX、ClaudeCode、OpenClaw、Hermes Agent

工具背后的核心技术：上下文管理、提示词工程、模型微调

虽然不必过于恐慌（卖课的倒是要乐开花了），不少地方还是有保密要求的，这种强势模型基本还都是闭源，具体使用上还没一些人吹的那么离谱，但如果是自由开发者，那确实要认真考虑下。

在 AI 时代，只要学得够慢，就永远不用学，今年学习的崭新的热门技术，也许明年甚至几个月后就过时了。

这一切的源头还是 LLM，除了以即梦为代表的视频图片生成外，说回 LLM，也就是大语言模型，最开始的 OpenAI 的 ChatGPT 这种 ChatBot，到目前来说依然是这一切的基石。

关于 LLM 大家都耳熟能详，本质就是根据输入来预测下一个字做词语接龙，最终形成一个句子。

从最基础的 AI 对话来看，LLM 本质上就是个词语接龙，那么在它看来也没有什么对话不对话，只是我们人为的分成了对话的形式；

举个例子，比如输入：‘我有西红柿和鸡蛋，能做什么菜？’

我们可以将其拆解为两部分，一个是前提条件或者说上下文信息‘我有西红柿和鸡蛋’叫做 Context，接下来的‘能做什么菜？’是为了引出后续我们想要的结果所以可以称之为提示词，叫做 Prompt。

这样一个简单的对话就完成了，但随之而来的是新问题，如果想基于之前的聊天记录继续问问题，为了让答案更合理，需要把之前的聊天记录作为上下文 Context 带着喂给 LLM，毕竟 LLM 只是在做词语接龙，没有任何记忆能力。 这些历史聊天记录被称为 Memory（记忆），嗯，又是一个新词；

当记录过长，每次都带着有点浪费 Token，所以还可以把这些历史记录 Memory 交给 LLM 让它提炼出核心部分进行压缩，这样就减少了上下文长度。

AI 语义中的 Token 并非单一词汇，可以是字、字母、标点、子词或常用词组的切分片段。

AI 不直接阅读人类文字，而是将其切分为 Token 并转为数字进行推理计算。

它是模型处理的最小单位，1 个英文单词约等于 0.75 个 Token；1 个中文字约等于 0.6-1 个 Token。 例如，英文单词 "apple" 可能是一个 Token，而较长的词可能被拆分为两个。

推理时，单个字母效率太低，整词又显粗不灵活，到了中文就更难了，因为没有空格，分词非常主观，例如“南京市/长江大桥” 还是 “南京/市长/江大桥”。

目前采用折中方案，依据出现频率来切分，高频内容 = 1 个 Token，低频内容 = 多个 Token，它不是固定大小的，而是根据 “理解效率” 动态生成的。

若想了解具体算法，搜索关键词：BPE（字节对编码）

值得一提的是，由于汉字的信息密度比较高，LLM 时代，理论上汉字天然就具备省 Token 的特点，但是现在国外那些 LLM 训练用的分词器基本是英文特别优化，实际测试上，汉字只能是特定场景省 token，普遍还是比英文高一些，日文韩文更加离谱；当然如果你用文言文，那除了可能有些歧义，是的确用量只有正常的 30% 左右。

综上，LLM 相关常用术语基本讲完了，下面进入进阶内容了。