标签

AI Agent为何易受欺诈?间接提示注入揭示大模型安全隐忧

以往软件安全焦点多集中于代码缺陷、服务器配置及权限管理。然而随着AI Agent的兴起,攻击者将目光转向新领域:干预AI的决策逻辑。当AI助手具备浏览网页、解析邮件、读取文件及调用外部工具的能力时,其接收的信息不再单纯是数据,还可能夹杂针对AI本身的诱导性指令。此类威胁常被定义为间接提示词注入(Indirect Prompt Injection)。真实研究案例2025年,安全专家Johann Rehberger等人公开展示了具备联网与工具调用功能的AI助手所面临的提示注入威胁。攻击手法无需破解系统,而是利

2026-07-16 02:12:04  |  11 阅读

OWASP新报告:自主AI突破防线,企业治理迫在眉睫

近期,OWASP 推出了《代理式人工智能安全与治理现状 v2.01》报告。这份技术蓝图致力于协助安全团队,应对生产环境中日益激增的自主人工智能代理所引发的安全难题。该报告属于 OWASP 生成式人工智能安全项目中的代理安全倡议,借助真实安全事件、通用漏洞披露 (CVE) 以及围绕代理框架和编码代理快速扩张的开源生态,将人工智能安全重塑为一种运营现实,而非单纯的理论担忧。Part01安全边界的模糊化报告从战略高度阐明,一旦系统具备自主能力和工具调用权,AI 安全(系统自主引发危害)与 AI 安全(对抗性利用

2026-06-09 18:08:23  |  15 阅读

AI安全伦理笔记:大模型供应链风险详解

供应链。初看这十大风险,我困惑的是供应链漏洞,难道真如字面所示?是指在大模型设计与运行中,因外部方提供的各类组件引发的隐患吗?让我们深入探讨。 供应链(供应链风险 / 供应链漏洞)【注:本书微信读书版为2024年1月英文原版,人民邮电出版社的中文译本预计2025年12月出版,因此书中列出的十大风险与上述OWASP 2025版十大风险存在差异。两者均包含供应链,下面将同时引入本书及OWASP官网最新清单的解释。】 供应链风险聚焦于人工智能供应链引发的安全隐患,涵盖:软件漏洞、第三方训练模型的安全隐患、训练数

2026-06-07 23:45:34  |  22 阅读

Agentic AI 安全指南:确保AI行为可控

来源:hermit with hermes这是「Agentic AI」系列的第五篇。前四集我们探讨了Agent的基础概念、多Agent架构、主流框架以及记忆机制。今天,我们要解决一个核心问题:在赋予AI无限能力的同时,如何确保它只执行你期望的操作?过去两年,行业竞争焦点在于“AI能做什么”——编写代码、生成图像、数据分析、自动发送邮件。模型能力增强,可用工具日益丰富。然而,2026年的行业风向已经转变。当AI从单纯的“对话”转向实际“操作”,安全问题便从一种可能性变成了生死攸关的挑战。设想这样一个场景:一

2026-05-10 15:28:18  |  26 阅读

AI智能体治理新篇章:身份认证与上岗许可成焦点

您是否曾思考过这样一个问题:当一个AI Agent代表您发送邮件、完成转账,甚至签署合同,一旦发生意外,责任应如何界定?“人工审核”的承诺听起来美好,但现实是,一旦Agent开始运行,其速度之快已远超人力追踪的范畴。麦肯锡在2026年的一份报告中揭示了一个严峻的现实:不到三分之一的企业拥有充分的治理措施来监管其部署的AI Agent,而这些Agent却已在处理支付、执行合规决策以及管理投资组合等关键业务。2026年上半年,“Agent治理”这一议题迅速从学术探讨升华为一项紧迫的“刚需”。以下三件大事加速了

2026-04-28 04:16:15  |  28 阅读