AI自主工作谁来监管?企业级AI的Harness工程实践
Harness,在中文里没有固定译法。在AI工程领域,它特指一种外层控制程序:负责调度AI、验证结果、决定下一步行动。
用快递分拣系统来比喻:包裹在传送带上移动,背后有一个调度层——决定哪个包裹去哪个传送带、哪个格口满了需要改路线、哪个包裹扫描失败需要人工复查。
Harness就是AI系统里的那个调度层。
它不直接“干活”,而是把任务分配给合适的AI,检查AI是否真的完成了(而不是只听AI自己说“完成了”),并决定失败时是重试、换方法,还是交给人类处理。
过去,这个调度层由人来做。Harness工程要做的,是把这套判断逻辑自动化。在特赞GEA架构里,这个调度层叫编排层(Orchestration Layer)。它不持有任何业务能力,只做一件事:在发散推理模型给出多条路径后,决定哪条路径该交给哪个Agent Skill执行、结果是否符合预期、以及下一步是否需要切换策略。
Harness,就是把这套决策逻辑代码化的工程实践。
过去用AI的方式:人提问 → AI回答 → 人判断 → 人执行。
Harness模式下:任务进队列 → AI取走执行 → 外层程序验证结果 → 不通过则重试或派给另一个AI → 直到通过标准为止。
任务的生命周期,超出了AI自认为“完成”的那个时刻。
这带来了真正的效率提升——在结果可验证的任务上尤其明显:代码移植、安全扫描、批量内容生产、数据核查。这些任务的共同点是有明确的完成标准,机器可以自己判断“做完了没有”。
但这也带来了一个新问题。
麦肯锡2024年的调研发现:超过60%的企业AI项目试点阶段表现良好,但规模化部署后出现显著质量下滑。
根本原因不是模型不够好,而是:企业的判断标准,没有进入执行层。
一套没有企业背景的控制程序,不知道这条营销邮件的措辞需要符合品牌调性,不知道这个客户上季度刚拒绝过同类提案,也不知道这类内容发出去前需要法务走查。没有这些信息,循环跑得越快,偏差就累积得越快。
控制程序真正的挑战,由此变得清晰:
1. 判断标准要能被描述。“内容质量好”是无法让机器判断的。“符合品牌声音、覆盖核心利益点、无敏感词、段落不超过5行”是可以判断的。企业必须把隐性标准显性化。
2. 企业背景要能被调用。每次执行任务时,AI需要知道:这家企业的客户是谁、这次任务的历史背景是什么、上次做类似任务的结果和反馈是什么。这是企业知识管理问题,不只是提示词工程问题。
3. 反馈要能传导回来。AI完成了任务,人说“这个方向不对”——这个反馈能让下一次执行变得更好吗?还是每次都从零校准?
这三件事,指向同一个问题:企业积累的判断标准、历史背景、品牌知识、修订反馈,有没有被沉淀成每次执行都能调用的单一