超级人工智能的法律风险与治理路径

面向智能经济新格局的人工智能法治治理

编者按

人工智能正以更快速度迭代升级，智能体、基础模型以及数据要素愈发深度嵌入经济社会运行过程，持续形成以技术驱动、数据流通与产业协同为特征的智能经济新形态。与此同时，超级人工智能可能引发的安全风险与治理难题也逐渐浮出水面。开源人工智能虽在推动技术扩散与产业赋能方面发挥作用，但也对现有规则体系提出了更高要求，其中数据要素流转过程中的权利安排、合规使用与风险防控问题愈发突出。

本期专题围绕智能经济新形态下的人工智能法律治理展开，重点从前沿风险治理、开源规则建构以及数据要素流通治理三方面进行讨论。

超级人工智能发展的法律风险与治理

北京大学法学院教授、北京大学人工智能研究院AI安全与治理中心主任

张平

“十五五”规划纲要专篇提出“深入推进数字中国建设 提升数智化发展水平”，并要求进一步拓展“人工智能+”，以赋能经济社会发展与治理能力提升，推动生产方式的深层变革和生产力的跃升。当前，人工智能正从感知智能、认知智能加速走向更高层级的通用智能乃至超级智能，其技术能力、应用边界与社会影响力不断延伸，从而深刻改变社会生产生活方式以及治理方式。伴随而来的，是人工智能尤其是超级人工智能的发展，使得法律风险的形成机制、权利保障的落地路径以及公共治理的制度框架都面临新的考验。在激励创新与化解风险之间实现适度平衡，在加速技术跃升的同时守牢安全底线、保障人的主体地位，已成为智能时代必须回应的重要法治命题。

超级人工智能发展的法律风险

作为人工智能发展的更高阶段，超级人工智能的关键特征在于其智能水平显著超越人类，同时具备自主意识、自我演化以及跨领域解决问题的能力。不同于现有生成式人工智能，超级人工智能属于在自主学习与自我优化等方面出现质变的技术形态。一旦其突破既有工具型、辅助型人工智能的边界，并深度嵌入经济运行、社会治理与公共决策体系，法律体系所依赖的主体辨识、行为控制、责任归属以及风险防范逻辑都将遭遇新的压力。

自主意识萌发带来的行为失控风险。自主意识的萌发并不等同于人工智能已形成真正意义上的人格意识，而是指其可能在复杂环境中展现出更强的目标选择与策略调整能力。多数传统人工智能是在既定规则与明确指令框架下运行，风险往往来自程序缺陷或人为误用；但当超级人工智能能够基于外部环境持续改写行为路径，甚至对既定指令作扩张性理解时，就可能产生与人类最初目标相偏离的情况。法律最需要预防的并非系统具备自动化能力这一事实本身，而在于其可能在关键场景中形成难以预见、难以控制的运行状态。一旦这类高智能系统被用于金融、交通、医疗以及公共治理等领域，行为失控就可能迅速外溢为更广范围的社会风险。

责任主体模糊引发的归责难题。现行法律制度以自然人和法人作为主要责任主体，依托行为与责任之间的明确对应关系来构建规则基础。然而，在超级人工智能的场景中，系统往往具备更强的自主规划能力、独立决策能力以及持续执行能力，其行为结果与人类主体之间的控制链条、因果联系和可预见性会显著减弱。由此，传统侵权法中的归责基础可能被逐步冲淡。一方面，责任可能被过度集中到形式意义上的控制者；另一方面，在多主体协作、参与环节复杂、链条较长的情况下，又可能出现责任被分散、责任被稀释甚至责任难以落地的现象。尤其当超级人工智能被广泛用于金融、医疗、交通、城市治理等高风险领域时，法律面临的已不只是简单的机器致害问题，而是更具综合性的系统性风险，现有责任规则也将难以完全匹配。

算法黑箱加剧的监管穿透难题。超级人工智能通常依托复杂模型与深度学习机制，其运行过程本就带有较强的技术封闭性与解释难度。随着系统能力持续提升，算法黑箱所带来的问题会进一步加剧，即便是开发者也未必能够把握系统为何会生成某一决策结果。对于法律监管而言，这意味着传统以过程审查、证据固定与责任追踪为主的治理方式将遭遇更大阻碍。一方面，监管者难以穿透系统内部的推理链条，准确识别风险究竟