AI 表现不佳?或许是上下文没给对!
许多人认为 AI 不好用,第一反应是模型能力不足,但真正的瓶颈往往在于上下文。模型若不清楚该关注哪些信息、哪些与当前任务相关,自然容易一本正经地胡说八道。
这正是近期备受关注的“上下文工程”所致力解决的问题。举例来说,若让 AI 协助准备明日客户会议资料,缺乏上下文的模型仅能生成美观却空洞的通用模板。而一个上下文工程完善的系统,则能自动识别会议对象,调取最新工单记录,发现续约即将到期,同时避免将超出权限的内部定价信息混入其中。输出质量差异巨大,但背后使用的模型可能完全相同。
要构建高效的上下文工程,需重点解决四大核心问题。首先是数据打通,企业数据分散于数据库、文档、SaaS 平台及各类 API 中,与其全部迁移至一处,不如采用零拷贝联邦查询,让 AI 直接在数据源头访问,既保障实时性,又不破坏原有权限体系。其次是构建知识层,原始数据并不等同于有效上下文,需进行跨系统实体解析,梳理关系与层级,将数据转化为知识。第三是精准检索,“更长不等于更好”,更多上下文未必带来更优结果,必须依据意图、角色及时效进行过滤,避免无关信息干扰模型判断。最后是运行时治理,权限校验须贯穿检索与响应的每一步,智能体是否可访问特定数据源、某条结果是否应返回当前用户,均需实时判定。
在精准检索方面,视频梳理了若干进阶方案。基础 RAG 已为人熟知,涉及分块、向量化及相似度搜索,适用于简单场景。智能体式 RAG 更进一步,AI 可迭代获取数据,首轮不足则继续补充,类似人类调研过程。GraphRAG 则利用图结构导航,关注实体间关系而非单纯语义相似度,先通过图定位相关实体与文档,再以向量搜索补充细节,精度显著提升。此外还有上下文压缩技术,即便模型上下文窗口较大,噪音增多仍会影响效果,因此需对长文档进行摘要与优先级排序,在有限窗口内最大化有效信号。
当前,模型能力的边际提升渐趋放缓,但上下文工程的优化空间依然广阔。同样的模型,若输入上下文质量不同,输出结果可能天差地别。未来真正拉开差距的,将是谁能将上下文这一基础设施搭建得更加扎实。