AI的技术、运营与安全隐患剖析

本报告深入剖析了人工智能在技术、运营及人类维度所面临的现实威胁，涵盖了对AI模型的攻击与危害、AI应用遭遇的结构性困境、利用AI安全漏洞的行为主体类别，并给出了对应的防范对策。

攻击与危害

提示注入：黑客借助篡改模型输入（提示词、文件或外部资讯）来改变其运行方式、执行计划外动作或窃取隐私数据。该手段分直接与间接两种，直接表现为篡改用户指令，间接则在模型处理的资料中暗藏恶意指令。防范策略涵盖部署输入过滤机制、严谨区分指令与数据，约束模型接触敏感资源或工具的权限，周期性利用对抗提示词库及参照OWASP大语言模型应用Top 10进行安全审计，并针对管理员与安保团队开展培训，以识别模型内部的操控模式或异常举动。

不安全的输出管控：若AI产出的结果被直接应用于业务流程（例如交易自动化、辅助诊断、设备管控或代码编写），失真或遭篡改的输出可能引发严重后果，这往往也是提示注入、数据投毒或模型训练期未被察觉的偏差等其余漏洞的最终体现。防范策略涵盖于执行自动或核心操作前，在沙箱环境内校验与隔离输出结果，在决策或物理控制体系内落实强制人工干预（特别是在高影响的合规场景下），针对模糊情境开展鲁棒性测试以辨别模型对恶意输入或模糊语境的反馈，执行交叉核验以将模型输出与独立