NSR社论：推动中国主导的人工智能安全治理行动

作者

曾毅（北京前瞻人工智能安全与治理研究院院长；中国科学院自动化研究所人工智能安全与超级对齐北京市重点实验室主任）

黄铁军（北京智源人工智能研究院理事长；北京大学教授）

姜裕刚（复旦大学副校长、教授）

蒲慕明（中国科学院脑科学与智能技术卓越创新中心学术主任；《国家科学评论》执行主编）

人工智能（AI）的高速演进，正在给社会各个层面带来深刻挑战。毋庸置疑，AI能够推动科技创新、全球经济、社会福祉以及生态环境等多个领域更快发展。但与此同时，AI的持续推进也在不断加剧对各国社会稳定与安全的潜在冲击。尤其值得警惕的是，不少前沿人工智能实验室和科技公司正加速竞逐通用人工智能（AGI）与超级智能——这类系统有望在人类能够完成的全部任务上超越人类，但对于如何规避其发展过程中的重大风险，却缺乏充分重视。因此，国际社会亟须共同探讨兼顾安全性与人类价值对齐的AI发展道路，并推动务实有效的治理举措落地。

AI强国之间的地缘政治角力，特别是中美之间的竞争，使人工智能治理变得更加棘手。硅谷大型科技企业正以前所未有的资金规模和技术能力，全力投入通用人工智能与超级智能的研发竞赛；相比之下，中国的AI企业和科研机构则更多着眼于大范围产业应用以及科技创新研究。这种看似不同的发展路径，其实只是表层区别，因为一旦通用人工智能成为现实，它势必进入AI应用的几乎全部场景。越来越多迹象显示，这种局面很可能会在未来5到10年间出现。

一些人认为，地缘政治对抗以及科技巨头的商业诉求，将使全球难以展开真正有意义的交流，也难以形成具有共识基础的AI治理规则，因为竞争参与方都希望在这场竞赛中占据先机，同时又缺少对彼此遵守安全标准和监管制度的信任。

回顾冷战年代，针对核战争这一迫切威胁的应对，最早正是由关心社会命运的美苏公民和科学家率先推动的。比如，帕格沃什科学与世界事务会议就在美苏关系高度紧张时期为双方建立了沟通渠道，并为之后多个核武器条约的达成创造了条件。

自大语言模型（LLM）出现以来，国际社会在科研和政策两个层面，已经围绕全球AI安全与治理进行了大量探索。联合国人工智能治理全球对话、人工智能独立科学小组，都为联合国大会相关议题提供了支持。由约书亚・本吉奥组织、上百位AI研究人员参与讨论形成基础的两份国际AI安全科学报告，也已正式发布。世界人工智能大会(WAIC)及全球AI治理高级别会议系列活动，已成为重要的思想碰撞平台。由科学家主导的人工智能发展与治理国际研究网络（AIR-Net），则为AI研发和治理合作提供了协同机制。

AI领域先驱杰弗里・辛顿、约书亚・本吉奥、斯图尔特・罗素，近期与多位中国科学家及全球其他学者共同发布公开声明，倡议暂停超级智能研发，直到科学界就其安全、可控的发展方式形成广泛共识。这一主张得到了国际社会的有力响应，来自全球各界的联署人数已超过10万。

虽然各方已经作出不少努力，但全球仍未真正建立起高效且能够实施的AI治理体系。其根源主要在于，由AI企业主导的商业利益，以及率先实现通用AI所带来的巨大吸引力。有关潜在灾难性甚至生存性风险的警告不断出现，但在全球安全标准和治理机制建设方面，现实进展依然十分有限。当前最突出的两项难题在于：其一，AI科技巨头之间以及中美之间，缺乏对彼此履行全球AI监管承诺的信任；其二，即使形成全球共识，仍然没有足以确保规则执行到位的机制。

我们认为，切实可行的下一阶段路径，是由中国政府与人工智能界在原则讨论和政策研究之外，进一步拿出具体行动。联合国气候变化框架公约缔约方大会（COP）在政策层面的广泛讨论已持续近三十年，而中国则主动采取循序推进的方式，围绕碳达峰和碳中和目标，通过政府引导的项目和政策体系发展可再生能源与绿色能源。即便西方发达经济体未能同步推进，中国在减排方面依旧取得了稳定进展。基于这一经验，我们有充分理由相信，中国同样能够率先建立AI安全准则与治理机制，向世界尤其是地缘政治和经济竞争对手证明，务实有效的行动不仅能够实现，而且中国在AI安全问题上的承诺是真实可信的。正如绿色能源技术一样，中国在AI安全与治理方面积累的技术实践，也应当向国际社会开放共享。

当前迫切需要推进的事项已逐步形成共识，中国人工智能界可以重点从以下方面发力：

制定技术性安全防护准则，预防AI系统失控以及被恶意使用者滥用；

研发相关技术，为AI大模型和具身智能物理系统嵌入与人类价值一致的行为约束；

开发面向通用人工智能的补救技术、应急方案以及共生型社会体系；

在AI安全技术研发完成后，尽快面向全球人工智能界和社会公众开放共享。

科研人员与学者还应持续从以下几个方面为中国政府提供支持：

组建并强化现有国家级AI安全专家委员会，持续跟踪需要设置安全防护、实现人类价值对齐的大型AI模型，定期向各级政府提交可执行的行动建议；

依据国家级AI安全专家委员会的建议，定期发布具备可操作性的国家级AI安全指引和监管规范；

通过高水平、前瞻性的科研工作，形成并发布最新的安全防护准则；

完善法律机制，在国家层面强制落实AI安全与治理有关规定。

围绕上述思路，中国已经开展了一系列初步且富有成效的工作，包括但不限于：1)国家互联网信息办公室、国家发展和改革委员会、教育部、科学技术部、工业和信息化部、公安部、国家广播电视总局联合发布，并于2023年实施的《生成式AI服务管理暂行办法》；2)国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布，并于2025年施行的《AI生成合成内容标识管理办法》；3)全国信息安全标准化技术委员会、国家计算机网络应急技术处理协调中心发布的《AI安全治理框架（2.0版）》；4)工业和信息化部AI标准化技术委员会、国家AI标准化总体组推进的AI安全与治理标准化相关工作。

即便如此，AI技术更新迭代极其迅速，要实现敏捷而可执行的治理依然困难重重。近期，OpenClaw等智能体框架的研发和应用呈爆发式增长，但配套的安全保障与治理安排尚未真正落地，其负面影响也已开始显露，因此亟须推出有针对性、能执行的防护和治理措施。

AI安全与治理方面的关键突破，很可能首先出现在AI技术领先国家。AI技术若要实现可持续发展，前提是社会普遍认可AI产品安全可靠并符合人类需要。与前沿AI技术及应用的高速扩张相比，AI治理的实际推进缓慢到令人担忧。考虑到AI领域普遍存在的商业利益和个人利益，仅靠AI研发者自觉约束来确保安全，显然并不现实。认为必须等到类似核事故级别的灾难发生后，才开始真正推动AI治理，这种看法绝不可接受。

我们真正迫切需要的，是各国政府和人工智能界拿出推进AI安全与治理的决心、意志与执行能力——这已成为当今科技前沿最为关键的议题。在此，我们呼吁科研工作者支持中国政府、中国人工智能界乃至全球社会，依托技术力量，推动可执行、可落地的AI安全与治理行动，为全人类共同构建命运与共的未来。