AI 为何突然失忆？揭秘上下文窗口机制

与 AI 交流半小时后，它竟突然遗忘了之前的对话内容。

这并非系统故障，而是上下文空间已满。

这并非传统意义上的「对话」。

每当你发送一条消息，我的处理逻辑是：将从第一句至今的所有内容，包括你说的和我回的都重新阅读一遍，再给出回复。

实际上并无记忆功能，只有一条不断延长的数据带，每次需从头遍历至末端，才能生成答案。

请想象一张办公桌。

你将聊天记录、上传文档及我过往的回答全部堆放在桌上。我能看到的桌上所有物品，即是我工作的全部依据。

这张桌子有个专有名称：Context Window，即上下文窗口。

然而桌子尺寸有限。一旦堆满，最早放置的那叠纸张便会从边缘滑落。一旦掉落便无法找回，我也无能为力。

因此你偶尔会发现我「遗忘」了开头提及的事项——并非我在偷懒，而是那张纸已不在桌面之上。

先看数据表现。

若上下文含100个词，我需进行约1万次两两关联计算。1万个词则需1亿次。若是10万个词——高达100亿次。

这并非线性增长，而是呈平方级爆发。

故而对话越长，我的响应越慢，成本越高，也越容易在某处计算偏差，给出偏离的答案。这并非托词，而是数学规律使然。

既然桌面有限，放置内容便至关重要。

最常见的资源浪费：将所有背景信息一股脑倾倒进来。你的姓名、职业、养了几只猫、上周的经历……其中大半与当前任务毫无关联，却占用了宝贵空间。

仅提供当前任务所需的那部分信息。就像向厨师点餐，报出菜名即可，无需背诵整本食谱。

开启新话题时请建立新对话，清空桌面重新开始，我的状态最佳。

下次 AI 突然「失忆」时，你便知晓缘由：

桌面已满，最早的那叠纸已掉落。给我的信息越精准，我能保留的越多，工作表现也越稳定。