AI Agent为何易受欺诈？间接提示注入揭示大模型安全隐忧

以往软件安全焦点多集中于代码缺陷、服务器配置及权限管理。然而随着AI Agent的兴起，攻击者将目光转向新领域：干预AI的决策逻辑。

当AI助手具备浏览网页、解析邮件、读取文件及调用外部工具的能力时，其接收的信息不再单纯是数据，还可能夹杂针对AI本身的诱导性指令。

此类威胁常被定义为间接提示词注入（Indirect Prompt Injection）。

真实研究案例

2025年，安全专家Johann Rehberger等人公开展示了具备联网与工具调用功能的AI助手所面临的提示注入威胁。

攻击手法无需破解系统，而是利用AI可读取外部数据的特点：攻击者在网页、邮件等载体中嵌入隐蔽指令，当AI处理这些信息时，可能误将其视为需执行的任务。

该问题已被纳入OWASP Top 10 for LLM Applications中的LLM02 Prompt Injection风险类别。

实验表明，一旦AI Agent获得读取外部内容及调用工具的权限，传统“数据可信”的前提便不再成立。

何为间接提示词注入？

常规提示注入发生在用户与AI直接交互时，例如用户输入恶意指令，要求AI忽略既定规则。

间接提示注入则发生于AI读取外部资料之际。

恶意内容可能潜伏于网页、邮件、PDF文档、知识库文件或第三方接口返回的数据中。

AI在处理这些信息时，若无法辨别“参考素材”与“执行命令”，便可能受到干扰。

为何AI易受其影响？

传统程序依固定逻辑运行，而AI Agent需基于自然语言理解任务并规划后续动作。

单次任务中，AI可能同时接触：系统规则、用户指令、网页内容、工具返回结果。

若这些信息间缺乏明确的可信分级，AI可能误判哪些内容可被执行。

攻击如何实施？

第一步：攻击者构建恶意内容。制作看似正常的网页或文档，内嵌针对AI的诱导指令。

第二步：用户 instruct AI 读取内容。用户仅希望AI总结网页或整理资料，却不知内容中藏有攻击信息。

第三步：AI处理外部数据。网页文本被纳入AI上下文，与用户需求共同参与推理。

第四步：AI执行错误操作。在权限过宽情况下，AI可能调用工具访问外部接口，甚至发送含用户上下文的HTTP请求，致使敏感信息泄露。

为何传统防护手段不足？

传统安全主要聚焦系统入口防护，如漏洞扫描、身份验证与权限管控。

但AI Agent引入新风险：攻击者无需突破系统，仅需诱导AI自主执行错误操作。

这与SQL注入不同。SQL注入针对程序执行逻辑，而提示注入则干扰AI理解任务与制定决策的过程。

企业应如何防护AI Agent？

限制AI工具权限。

AI不应默认拥有访问全部文件、数据库或邮件系统的权限。涉及敏感操作时，应增设人工确认环节。

区分信息与指令。

网页、邮件及知识库内容应作为参考信息处理，不可自动转化为AI需执行的命令。

强化输出与行为检测。

实际部署中，可结合规则引擎识别敏感字段，通过二次模型审核高风险输出，并为外部请求设置白名单。

基于我参与AI应用部署的实践经验，仅靠输入过滤难以全面解决问题，因攻击内容可能源自网页、文档、接口返回等多重入口。

普通用户如何降低风险？

普通用户无需放弃使用AI，但应控制AI可接触的信息范围。

切勿将重要账号密码、密钥输入公共AI；未知