AI 的“金鱼脑”：对话压缩的代价

引语

看似没删数据，实则每次压缩都在遗漏信息，且 AI 从不主动告知它已遗忘。

使用 AI 工具时，AI 并非真正记住了所有过往。每次回复时，它都会将你的提问连同历史记录一同发送给模型处理。对话越久，所需携带的历史数据就越多，而历史记录的容量是有限的——这正是你常听到的“1M 上下文”或“200K 上下文”窗口大小的限制。

当存储空间即将耗尽时，AI 会自动对之前的对话进行“总结”——即你常看到的“正在自动压缩”。尽管压缩听起来是无损的，但实际上每次都在丢失细节，且每压缩一次，信息便减少一分。下面通过一段对话模拟这一过程。

01

演示

为便于观察效果，此处设定几十字即触发一次压缩，实际窗口远大于此。A 代表 AI，B 代表用户，B 请 A 撰写一句咖啡广告。

第一回合

B：帮我写句咖啡广告，核心是提神。

A：一杯咖啡，唤醒你的一整天。

B：加上“现磨”。

A：一杯现磨咖啡，唤醒你的一整天。

B：改为“每个早晨”。

A：一杯现磨咖啡，唤醒你的每个早晨。

【压缩】

第二回合

上一轮压缩后，AI 记住的内容：用户需要一句咖啡广告，提及现磨、每个早晨。

B：增加“手工冲泡”。

A：一杯现磨手工冲泡咖啡，唤醒你的每个早晨。

B：把“唤醒”换个词。

A：一杯现磨手工冲泡咖啡，点亮你的每个早晨。

【压缩】

第三回合

上一轮压缩后，AI 记住的内容：用户需要一句咖啡广告，涉及现磨、手工冲泡、每个早晨、点亮。

B：之前提到的“提神”还在吗？

A：你之前似乎提过方向，但具体是哪一个我不太确定。

B：是“提神”啊，一开始就提的。

【压缩】

第四回合

上一轮压缩后，AI 记住的内容：用户需要一句咖啡文案，提及现磨、手工冲泡、每个早晨、点亮。

B：你现在还记得我要写什么吗？

A：你需要一句咖啡文案，提及现磨、手工冲泡、每个早晨。

B：主打什么？

A：……你之前似乎提过方向。

B：你是金鱼吗？

02

分析

经过四轮压缩，“提神”彻底消失，文案变成了“关于咖啡的文案”，甚至 AI 都不确定具体目的是什么。你并未删除任何内容，仅是在同一对话中继续，但每次压缩都在“浓缩”内容，每次浓缩都在丢失信息。

03

真相

最糟糕的是，AI 从不主动告知它已遗忘。它会像第三轮那样礼貌地接话，让你误以为它记得所有细节。当你发现它胡言乱语时，根本想不起前面丢失了什么——因为压缩后的内容已不可见，你只能看到新一轮对话中 AI 自信满满的回复。

∞

THE END

管理上下文是基本技能，读罢此文你应该理解了。简单来说：在一个对话中不要死磕到底，若前面聊的内容与当前需求无关，就开启新对话。拆分对话对当前任务无损失，但不拆分，损失会与日俱增。

我是 晚风溪流，一名热衷于分享 AI 观察与干货的前程序员。

如果你觉得今天这篇有收获，欢迎点赞、在看、转发三连。