沪上AI科研力量聚焦17项核心议题，破解AI安全治理深层次难题
据新华社最新消息，中美两国已达成共识将启动人工智能领域的政府间对话机制，双方应共同推动人工智能技术的发展与管控，使该技术更好地造福人类文明发展并惠及国际社会整体利益。
全球范围内的人工智能发展与治理议题正引发广泛热议。作为服务全人类的国际公共产品，人工智能亟待各方携手治理；与此同时，随着其能力边界不断拓展，安全隐患呈现碎片化与复杂化趋势，行业迫切需要探索创新性的安全机制、防护方案与协同模式。
日前，上海人工智能实验室（上海AI实验室）发起并承办了第三届奇点科学会议（明珠湖），以"安全可信AI：从边界探索到体系构建"为方向，聚焦内生安全、系统防护、产业赋能、全球协作等层面展开深入研讨，旨在系统性回应AI安全治理面临的结构性挑战。
会议进程中，上海人工智能实验室主任、首席科学家周伯文阐述了未来AI安全领域的六项核心问题，涵盖极限之问、原生之问、产业之问、行动之问、治理之问、伦理之问，为参会交流提供了重要指引。数十位青年科研工作者、产业精英围绕核心议题与"根本六问"展开热烈讨论，最终投票选出17项关键问题及2个优秀提案。
内生安全：寻求内生安全机制与架构的新突破
大模型能力持续增强的同时，AI安全问题亦同步演化。传统AI安全机制在静态环境中尚能发挥作用，但在跨语言、跨模态、复杂语义、智能体系统及持续演变风险面前，逐渐显露出局限性。安全如何成为大模型的先天禀赋？如何随智能共同成长、共同涌现？如何构建可量化、可干预、可演进的安全机制，确保其在动态环境中维持稳定的安全边界？本议题的核心问题包括：
1、何为内生安全？
2、如何实现大模型在跨语言、跨模态和多语境中安全标准的统一？
3、如何构建具备自适应演进能力的内生安全架构？
4、如何借助科学评测体系识别、定位和量化风险，构建多层次交叉验证的内生安全评测体系？
5、如何对AI风险实施过程性动态管控，而不仅限于事后被动处理？
6、如何针对新风险、新任务和新环境，实现AI安全机制的持续迭代更新？
系统防护：面向前沿模型的防护体系构建路径
传统安全理念将风险建模为已知攻击模式的变体，但前沿模型面临的真正考验在于能力突破特定阈值后，涌现出人类未曾定义、评测集未曾覆盖、防御规则未曾预见的新型风险类别。如何构建智能体全流程安全技术方案？如何将安全评测从静态测试升级为可定位、可优化、可量化防护成本的闭环流程？本议题的核心问题如下：
产业赋能：人工智能"安全即服务"的产业模式
AI驱动的自动化攻击呈现规模化、隐蔽化、智能化、链条化特征，传统防御体系已难以应对高强度、高动态的安全对抗需求。对此，如何将安全技术转化为一体化解决方案，加速智能体的产业化落地进程？如何构建全方位的AI安全基础设施体系？本议题的核心问题如下：
1、如何构建贯穿研发与应用全链条的标准化安全防线，推动AI从试点走向规模化应用？
2、如何依托行业通用的设施架构与技术路线，以产业资源反哺安全能力建设，构建安全技术与产业场景的协同机制？
3、如何基于通用架构搭建安全稳态体系，统筹AGI可控性与场景适配性，建立人机协同演进机制，赋能产业持续稳健发展？
全球协作：构建包容互鉴的全球AI安全治理新范式
全球AI安全治理正面临深层结构性困境：一方面，模型权重作为无形数字资产可被无损跨境复制，风险归因高度分散；一方面，AI安全侧重正向建设而非硬性约束。这使得依赖物理管控、条约威慑与禁止性义务的传统治理逻辑难以奏效。如何超越既有制度想象，构建适配AI治理新结构的全球协作机制，最大化治理效能？本议题的核心问题如下：
1、如何应对AI企业通过API向他国用户提供服务所引发的大规模算法歧视、虚假信息等跨境伤害？
2、如何建立不依赖物理存在的有效追责机制？
3、如何区分"AI安全"的主体诉求与高风险场景，设计分层级、可执行的最低基准？
4、针对企业视安全为合规成本而非竞争力的现状，如何通过制度调整重塑激励结构，推动安全成为可量化效益乃至产业竞争优势？
5、在先发国家主导的前沿风险标准形成路径锁定前，如何构建兼顾发展中国家利益、具有制度想象力的双支柱替代性框架，并依托南方国家合作体系进一步落地？
"人工智能的治理成效如何，最终将决定人工智能产业能够走多远。"上海人工智能实验室主任、首席科学家周伯文近期在《焦点访谈》中强调了AI安全的重要性。
上海AI实验室持续深耕AI安全领域，提出了"AI-45度平衡律""Make AI Safe""安全即服务"等前沿理念及创新模式，并取得一系列科研进展：打造了高安全、产业级智能体操作系统书安，构建"底层隔离、流程守护、认知进化"三层安全机制，为企业提供端到端的可信方案；推出了智能体全栈安全工具箱墨铠，提供14类、150余个安全工具，为产业场景提供全面、轻量、易落地的安全保障。
上海AI实验室正牵头筹建人工智能安全标准工作组（WG9），并于近日举办第二次全体会议，围绕"人工智能百项国家标准建设专项行动"要求，深化探索"安全即服务"模式，着力制定可量化、可评估、可服务化的先进标准，以高水平安全助力人工智能产业高质量发展。