AI 智能体乱上线？缺失治理等于埋雷

关键资讯，D1 即时送达！

企业网 D1net

企业界正涌现 AI 智能体部署浪潮，但众多企业在未建立可观测性、治理框架及审计机制时便仓促上线，潜藏巨大隐患。专家警示，AI 智能体不同于传统 RPA，它们拥有自主决策权，传统安全架构难以察觉其异常举动。当下，许多企业甚至无法阐明“智能体窥探了何物、启用了哪些工具、因何作出该决策”。更严峻的是，过度依赖人工审批将拖慢规模化落地进程。AI 时代的真正核心竞争力，正从“谁率先部署智能体”转变为“谁能有效治理智能体”。

有专家称，未部署可观测性流程与工具便上线 AI 智能体的企业，等同于坐等灾难降临。

部分 CIO 急于推出 AI 智能体，却对其决策过程缺乏实质可见性，这无异于在豪赌。

据 AI 专家所言，在缺乏可观测性流程与工具条件下部署智能体，犹如埋下定时炸弹，恐引发严重负面后果。

AI 安全公司 Guardrail Technologies 的 CEO T.J. Marlin 指出，多家公司正部署 AI 智能体，期望其在几乎无需人工干预下提升生产力，他认为此举错误，相反，IT 团队需严密监控智能体，并在整个智能体化进程中持续调整策略与实践。

“这并非像慢炖锅般设定后便可置之不理，”他说，“你不会清晨将鸡放入锅中置于厨房，傍晚归来便能享用大餐。那些如此行事的企業迟早会登上头条——只因刚酿成大祸。”

Marlin 表示，不少企业因惧怕错失良机而快速部署智能体，却未理解该技术细微差别，他补充道，某些 IT 领袖似乎将智能体混同于 RPA，但 RPA 的结果确定性高得多。

“当下既缺人才又缺知识，人们在匆忙搭建，却不核查是否正确、是否按预期运行，”他说，“这恰恰是我职业生涯中见过的最严重事故的共性特征。”

智能体治理厂商 TrueFoundry 近期发布的一份报告以数据佐证了对缺乏监管智能体的忧虑，该报告调研了 200 多位企业 AI 负责人，发现 54% 的受访企业无法完整追溯智能体行为，56% 的企业缺乏集中的智能体控制或治理层。

尽管 TrueFoundry 有推动智能体治理发展的商业动机，但许多其他 AI 专家也洞察到同样问题。

盲目治理

Google 高级数据与 AI 专家 Mahesh Kumar Goyal 表示，治理与可观测性方面的难题是部署高效智能体的主要阻碍，许多企业在部署智能体时甚至未建立集中清单。

“大多数企业对已在生产环境运行的智能体毫无清单——他们试图治理自己视而不见之物。”他说。

此外，他指出，传统 SIEM（安全信息与事件管理）和 EDR（端点检测与响应）安全工具专为发现人类异常行为设计，而非识别失控智能体。“一个智能体连续完美运行代码一万次，看似完全正常，即便它已被劫持。”他说。

他补充道，运行完全自主的智能体绝非明智之举。企业需考量最小权限范围的工具授权、对每个提示和工具调用进行调解的策略执行层，以及将提示、工具调用和下游操作串联成可审计轨迹的端到端追踪。

“金融体系并非靠信任运转，它依靠的是可审计性、对账和熔断机制，”Goyal 说，“智能体也将以同样方式走向成熟，分层自主才是现实答案：低风险任务自由运行，高后果任务必须人工介入。”

英伟达 AI 软件副总裁 Adel El Hallak 补充说，部分问题在于智能体颠覆了判断传统软件是否正常的模型。对于传统软件，QA 和安全人员可查阅代码以调试问题，但智能体是在 AI 模型的运行时环境中做出决策的。

他补充道，智能体的事实