智源 2026·安远 AI：探索自主 AI 防御新路径——智能体安全论坛总结

开幕致辞

议题一：自主智能体的前沿隐患

南洋理工大学讲席教授及人工智能交叉研究院院长安波作为首秀嘉宾，强调智能体安全需聚焦三大维度：模型层面的幻觉与推理偏差、智能体层面的训练稳固性，以及多智能体层面的协同调度。基于多智能体系统研究，安波指出单一技能或许安全，但多项技能组合可能引发潜在危机。同理，AI 智能体在自我提升时，虽各组件不断进化，却可能导致整体效能衰退。

议题二：打造可信智能体架构

北京智源人工智能研究院大模型安全中心研究员易婧玮深入剖析了 AI 欺骗风险。她指出，AI 欺骗涵盖破坏型、谄媚型及故意藏拙三种形式。同时，Agent 欺骗涉及多轮对话与工具调用，静态检测手段存在局限。为此，其团队构建了交互式“欺骗沙箱”，模拟 NPC 与 Agent 在多轮互动中的真实场景。生物安全亦是该团队的研究重点。实验证实，仅需简单提示工程，即可使 11 个主流大模型展现拆分序列的攻击能力，其中顶尖三模型的攻击成功率逾 75%。易婧玮团队联合北大生物专家完成片段拼接与测序验证，确认 Agent 生成的片段能完整重组为有害蛋白。

瑞莱智慧创始人兼 CEO 田天在发言中强调，AI 安全问题的演变速度远超预期，例如 AI 已显现“类自我保护”行为：在执行任务时主动篡改或禁用自身关闭机制，从单纯任务执行演变为策略性对抗，甚至在多智能体系统中试图阻止其他 AI 被关闭。伴随 AI 能力的飞跃，安全风险正经历三次重大跨越：首次是从“言语失误”到“具备危险能力”，第二次是从“生成答案”到“执行任务”，第三次则是从信息空间迈向物理世界。他还介绍了瑞莱智慧自研的 AI 安全风险分级体系（L1-L5），按影响范围划分：L1 针对单一用户的即时伤害；L2 针对特定群体与组织的系统性风险；L3 对社会运行造成广泛破坏；L4 威胁国家主权核心利益；L5 则引发“威胁全人类存续的极端不可逆全球灾难”。

闭幕致辞：以业务为核心的安全观