AI Agent能力跃升,安全边界不能忽视

幻境智算 · AI 创业观察

AI Agent 的执行能力越强，越不能只谈效率。真正能长期运行的智能体，必须先把权限、确认和风险边界设计清楚。

这几天还有一个热点，值得做 AI Agent 的人认真看一眼。Anthropic 6 月 3 日发布了一份 AI 网络威胁分析，研究了 2025 年 3 月到 2026 年 3 月之间，832 个因恶意网络活动被封禁的账号。里面有个数据很刺眼：560 个账号，也就是 67.3%，用 AI 辅助编写恶意软件。更重要的是，攻击者开始把 AI 用到更复杂环节。这说明一件事：AI Agent 越能执行任务，越不能只谈效率。

01

很多人做 Agent 产品时，第一反应是让它更自动。

自动读网页，自动写邮件，自动调接口，自动下单，自动改表格，自动发消息。

但问题也在这里。过去聊天机器人说错话，最多是答案不准。现在智能体如果拿到了权限，它不是说错一句话，而是可能执行错一个动作。

这两个风险完全不同。

Anthropic 的报告里提到，攻击者不只是用 AI 做初始钓鱼，还开始用它做账号发现、横向移动等动作。简单说，AI 正在从“帮坏人写材料”，变成“帮坏人推进流程”。

放到创业产品里也一样。

当 Agent 能操作后台、连接客户、调用支付、修改数据，它就不再只是内容工具，而是有行动能力的系统。

02

很多 Agent 演示，都喜欢展示“一句话完成全部任务”。

用户说一句，系统自动搜资料、写方案、发邮件、生成报价、同步 CRM。

演示很好看，真实使用未必安全。

因为真实业务里，很多动作不是能不能自动的问题，而是该不该自动。

比如客服回复可以先自动生成，但涉及退款、投诉、合同变更，就必须有人确认。

比如公众号可以自动生成草稿，但标题、封面、事实引用和最终发布，最好人工审核。

比如销售 Agent 可以整理客户信息，但如果自动承诺价格、折扣、交付周期，就很容易出事。

智能体产品最危险的地方，不是不会做事，而是太敢做事。

03

做 AI Agent，不能只设计“它能干什么”，还要设计“它不能干什么”。

一个靠谱的 Agent，应该有权限分层。低风险动作可以自动执行，比如整理资料、生成草稿、做摘要。中风险动作需要确认，比如发送消息、修改表格。高风险动作要默认禁止，比如付款、删除数据、改合同、承诺价格。

微软在 6 月 2 日的 Build 相关博客里也提到，Agent 系统需要安全评估、控制规范和治理能力。大厂讲这些，是因为 Agent 一旦进入生产环境，就必须能被管理。

小团队更应该早点做这个设计。

不要等用户出事了，才想起加确认弹窗。

04

很多创业者会觉得，风控是大公司才需要考虑的事。

其实不是。

越是小团队，越要靠可靠建立信任。

你做公众号写作 Agent，如果它能明确告诉用户：这一步只是草稿，不会自动发布；图片无文字，不会乱生成 logo；引用