AI掌控电网之际，谁来为其系上安全之绳？

当AI代理能够自主调度电网、管理城市供水系统时，我们距离失控的智能体系可能比预想中更近——但绝大多数企业尚未准备好为它们装配有效的安全监管工具。

本期播客《No Priors》与Onyx Security首席执行官Maxim Bar Kogan对话，剖析企业AI代理的监管盲区与解决策略。

Max的创业灵感源于AutoGPT——首个基于大语言模型的自主AI代理。当时业界普遍认为这项技术尚不成熟，市场时机过早，但Max却从中觉察到长远风险。随着推理型大模型的成熟和Cloud Code等自主代理工具的普及，企业AI代理的需求迎来井喷。

企业AI代理已成为增速最快的AI应用领域之一。如今企业中的AI代理可分为三类：低代码拖拽式自动化平台、企业自研第一方代理，以及自主编码类助手。其中自主编码类占比超过50%，且增速最快，但绝大多数都未配备安全控制机制。

Max在播客中指出：“AutoGPT刚问世时，许多人觉得只是个玩具，但我看到的是，当AI能自主执行跨系统操作时，人工审核的节奏根本跟不上智能体的行动速度。”这句话精准击中了AI代理监管的核心矛盾：当AI可以自主完成跨系统任务，人工审核的滞后性会被无限放大。

当AI代理的刚需已经形成，一个更棘手的问题随之浮现：传统的企业安全工具，根本管不住这些智能体。当前企业常用的身份安全、端点安全、API安全工具，都无法适应AI代理的监管要求。身份安全的核心是限制权限，但AI代理需要足够的权限才能完成复杂任务，过度限权等于废掉工具。端点和API安全则只能监控操作本身，无法理解行动的意图和业务上下文。

Max解释道：“我们见过很多企业用传统API监控工具，但它只能看到‘发送了一条网络请求’，却无法判断这个请求是AI为完成任务主动发起的，还是被恶意诱导的违规操作。”这也是为什么企业花了大价钱部署现有安全体系，却依然挡不住AI代理的安全风险。

传统安全工具无法理解AI代理的行动意图与业务上下文，这是它们无法适配AI监管的核心原因。

针对这个痛点，Onyx推出了AI控制平面与自研专用监控模型的组合方案。他们没有直接采用通用大模型来监控所有AI代理——这种方案不仅成本极高，还会带来严重的延迟问题，无法规模化落地。取而代之的是分层监控的思路：先用轻量小模型快速筛查高风险操作，比如代码泄露、权限越界、系统宕机风险，仅在识别到高风险场景时，才调用高性能监控代理进行深度审核。

Max打了个形象的比喻：“这就像国际象棋大师的决策逻辑，大部分普通走法凭直觉快速判断，只有关键对局才会深入计算。”这套思路既保证了安全覆盖，又避免了通用大模型带来的高成本和延迟。

轻量模型先完成风险筛查，仅高风险场景调用高性能代理，平衡了成本、延迟与安全性，这也是Onyx方案能规模化落地的关键。

Onyx的团队由研究员、数学家、工程师组成，多数成员来自以色列情报部门的数学与网络安全相关单位，兼具网络安全与AI领域的专业背景。以色列成熟的安全生态，让团队深度了解企业安全团队的日常工作流程，能够打造贴合实际使用场景的产品，而非仅追求技术炫技。

Max谈到：“以色列的安全从业者都明白，企业要的不是最前沿的算法，而是能快速集成、不影响业务正常运转的安全工具。”这句话道出了ToB安全产品的核心逻辑——技术再先进，不能落地适配企业流程也是空谈。这种先天的技术基因和用户视角，让Onyx能快速获得企业客户的信任。

除了当下的企业级安全需求，Onyx还在探索更长期的超级智能监管方案，包括通过机械可解释性研究理解大模型的内部结构与行为逻辑。AI代理的风险可以分为两类：低级失误会随着模型性能优化逐步减少，厂商会主动解决；但与企业视角不一致的自主决策风险，会随着智能程度提升愈发突出，且大模型厂商无法独立解决。

Max强调：“大模型厂商的核心目标是优化模型的通用能力，而非适配每家企业的具体业务规则，这就需要独立的第三方安全厂商来填补这个缺口。”他还坦言自己是“AGI-Pilled”，坚信超级智能的到来不可避免，而提前搭建监管体系才是应对之道。

大模型厂商无法为所有企业提供定制化的安全适配方案，这也是第三方AI安全赛道的长期价值所在。

当前企业对AI代理的禁令正在减少，金融行业会采用更精细的使用限制，大型企业风险承受能力更低，AI adoption节奏更谨慎，但整体仍在快速推进。作为初创公司，Onyx能获得大型企业客户的核心原因，是企业面临的AI安全痛点极强，安全团队的核心目标是保障营收，愿意尝试早期解决方案来避免业务受损。

Max建议，企业可以逐步推广CodeLlama、OpenAI Daybreak等新型模型，给足够时间搭建安全基础，但必须提前部署安全控制措施，因为模型普及不可阻挡。你所在的公司，现在已经在给自主AI代理部署安全管控措施了吗？

这期播客不仅拆解了当下企业AI代理的安全盲区，更探讨了面向未来AGI的监管思路。无论是企业IT、安全负责人，还是关注AI长期发展的创业者，都能从中获得有价值的思考。我们正站在AI智能体大规模落地的前夜，监管体系的搭建速度，或许将决定我们能否安全地拥抱这场技术变革。

觉得有收获，欢迎点赞、在看或转发给身边关注AI安全的朋友。