大模型面临的上下文腐坏挑战

在AI应用初期，人们普遍认为精心编写提示词能让AI更精准、高效地完成任务，从而获得理想效果，甚至催生了“提示词工程师”这一职业。然而，时代变迁迅速，随着Agent等新技术的兴起，这一职位如今鲜少被提及，但这并不意味着提示词失去了价值。这就好比炼钢技术进步后，虽然对铁矿石的要求不再那么严苛，但优质矿石依然备受青睐。不过，技术始终在演进，随着各类新概念技术的出现，AI领域目前产生了一种新观点：提示词已难以完美描述业务需求，转而应通过上下文来阐述。换言之，上下文的重要性如今愈发凸显。

究竟何为上下文？众所周知，若要大模型精准理解你的需求，除了提示词本身需精准外，还需提供更多信息。即提示词对需求的描述越详尽，理论上大模型掌握的信息就越丰富准确，进而输出更贴合客户预期的结果。为提升大模型的理解精度，我们可能还需输入其他相关资料。这些资料与提示词共同构成了上下文。简而言之，提示词仅是上下文的组成部分，相关资料则涵盖了前述的MCP、搜索工具等。

既然理论上上下文越细致清晰（通常意味着体量越大），大模型的输出质量就越高，那是否可以无限增加上下文长度呢？答案显然是否定的。凡事皆有两面性，提示词越长，成本便越高。此外，大模型处理上下文的长度存在限制，即上下文窗口。用户与大模型针对某一问题反复交互时，可能导致上下文长度超出窗口范围。此时，便需采取特定策略处理上下文（例如摘要）。这涉及压缩或舍弃部分信息资料，在此过程中极易造成关键信息丢失，进而破坏上下文的完整性与准确性，这便是所谓的“上下文腐坏”。其后果是大模型遗忘了关键资料或信息，致使前后回答不一致甚至相互矛盾。

若要应对上下文腐坏，核心原则仅有一条：切勿指望大模型能主动帮你解决。必须建立一套合理的机制来规避或处理相关问题。通常可采用以下几种手段：

总而言之，解决上下文腐坏并非易事，这需要用户、客户端、Agent以及大模型等多方协同发力，方能有效规避该问题。这虽非致命缺陷，却着实令人头疼。

当下的许多技术与缺陷，往往会随着技术进步而成为历史，不再具备任何意义。正如过去人们请人代为捎信，随着电话与网络的普及，这已成为陈年旧事。然而，我们必须清醒地认识到，大家身处当下，即便某些技术可能仅是过渡手段，该学的还是得学。