揭开AI Harness的神秘面纱：构建稳定可靠的AI Agent系统

有个非常简单的演示：一个AI Agent自动给Hacker News上的文章点赞。初次运行直接失败——Agent遇到登录页面后没有意识到需要先完成登录，反而向用户汇报"任务已完成"。

这个演示出自IBM的Tejas Kumar，他在一次演讲中专门引用了这个案例。他对这次失败的判断是：问题不在于prompt，而在于harness。

Harness这个词在国内AI讨论中还比较陌生，但在海外Agent工程领域，它正在成为一个不可忽视的概念。本文顺着Tejas的分享，详细梳理这一概念。

Harness在英文中原意是马具、安全带——给烈马套上缰绳，给登山者系上保护绳。共同特点是：让本身具有能量但行为不可预测的对象，能够在边界内稳定运作。

应用到AI领域，Tejas的定义非常明确：

An AI Harness is a system designed to provide a stable and controllable environment for AI models.

模型如同大脑，聪明但容易偏离方向；Harness则是它的骨架和神经系统，让大脑发出的指令能够真正落地到现实世界。一句话概括——没有Harness的Agent，能力越强，翻车风险越高。

Tejas将harness分为两类，对应两个不同的工程领域。

一类是Eval Harness，归属于ML工程。本质是模型的测试套件——输入数据，观察输出，评估质量。可以类比为软件工程中的Jest、Pytest，区别在于被测对象从代码变成了模型。

另一类是Agent Harness，归属于AI工程。它不评估模型，而是驱动模型——驱动一个Agent端到端完成任务。这是本次分享的重点，也是后文展开的核心内容。

Tejas将一个完整的Agent Harness拆解为五个组成部分。

Tool Registry，工具注册表。Agent不会凭空产生结果，所有效果都来自工具调用——浏览器自动化、文件读写、Shell命令、API请求。Tool Registry就是它的工具箱。

Model Management，模型管理。决定使用哪个底层模型、如何进行切换。Tejas在这里说了一句非常关键的话："Providers can change their models without notice."——模型提供商随时可能修改模型，Harness的工程价值之一，就是将这种波动隔离，防止上层应用被一次模型更新击穿。

Context Management，上下文管理。维护历史记录，压缩context避免超出窗口，决定哪些信息保留、哪些丢弃、哪些进行总结。一个Agent能执行多长的任务，瓶颈基本都卡在这一层。

Guardrails，护栏。最大迭代次数、重试次数、token上限、调用频率。简单说就是防止Agent陷入死循环或无止境地消耗资源。

Agent Loop，将以上四个组件编排成一个循环：感知→思考→行动→验证，再回到感知。Agent"活起来"的关键环节就在这里。

回到开头那个Hacker News点赞的案例。

Tejas现场用GPT-3.5 Turbo + Playwright编写了一个他自己戏称为"poor man's harness"的最小实现版本。任务很简单：登录HN，给一篇文章点赞。

第一次运行就失败了——Agent直接去点击upvote按钮，遇到登录页面后懵了，然后自信地报告说任务完成了。

接下来发生的事情才是本次分享的关键：Harness检测到这次失败，挂上一个login handler，让Agent先完成登录再重试；登录成功后再点击upvote；最后还有verification步骤，跑去DOM上确认upvote确实发生了，而不是Agent自己臆想的。

这一整套"失败→处理→重试→验证"的链路，全部由Harness提供，与模型本身的聪明程度关系不大。

正是因为这个Demo，"不是prompt的问题，是harness的问题"这句话才特别有分量——换一个更强的模型未必能解决问题，但加一层verification，问题就消失了。

围绕本次分享，有三点值得特别提出。

第一，模型是变量，Harness是常量。模型几个月就更新一个版本，今天GPT-4明天Claude，但围绕它构建的工具调用、上下文压缩、护栏、验证这些工程能力，是可以跨模型复用的。真正能沉淀的是后者，不是前者。

第二，验证比生成更重要。让Agent做事不难，让它诚实地报告自己有没有做成才难。Verification这一步在Demo里看起来像配角，到了生产环境其实是主角——Agent大部分"看起来很离谱"的失败，本质都是它在没做成的时候撒了个谎。

第三，Harness是Demo到Production之间那座桥。Claude Code、Cursor Agent这些目前体验较好的Agent产品，差异化护城河基本都不是模型本身，而是围绕模型构建的那一整套Harness。模型层的红利留给OpenAI和Anthropic，应用层最大的工程空间，大概率就在Harness上。

Prompt工程教你如何与模型对话，Harness工程教你如何让模型在真实世界存活。

未来一两年，Harness Engineering大概率会接替Prompt Engineering——这一波AI应用层真正能拉开差距的工程能力，会在这一层上生长。

•原视频：Harnesses in AI: A Deep Dive — Tejas Kumar, IBM (YouTube)[1] •参考报道：

•IBM's Tejas Kumar on 'AI Harnesses' — StartupHub.ai[2] •AI Harnesses Demystified: Building Reliable AI Agents with Tejas Kumar — Frank's World of Data Science & AI[3]

本文为个人学习整理，版权归原作者所有。