智能治理新视野||汪明:AI浪潮下的国家安全之思
编者按:
2025年4月15日,是党中央提出总体国家安全观十一周年,也是第十个全民国家安全教育日。为深入学习贯彻党的二十大和二十届二中、三中全会精神,全面贯彻总体国家安全观,理性分析人工智能加速发展给国家安全带来的风险挑战,本期以“人工智能时代的国家安全”为主题组织专家笔谈。同时,组织“总体国家安全观与治理现代化”专栏,旨在为实现高质量发展和高水平安全良性互动,更好助推国家治理体系和治理能力现代化提供参考。
作者:
汪明:人工智能带给我们后代更加安全的世界吗?
——从三个悲观的假设出发寻找答案
过去十年里,世界出现了可能影响21世纪发展和走向的两个重大变化,一是地缘政治格局的改变,二是人工智能发展带来经济社会全方位的改变。这两者已然紧密交织叠合在一起,各种竞争对手间的关系更加难以捉摸,未来发展的路径更具不确定性,国家安全面临的风险挑战更加严峻,超出人类认知水平和应对能力的文明级变革更加难以预测和把控,未来世界的走向充满变数。
这里不再回顾人工智能发展的历程,因为人工智能在21世纪的新发展以几何级和爆炸式的方式开局,世界并没有太多适应和调整的机会,就已经随其一起进入了全新的智能时代。见与不见,它就在那里,并开始深入世界运行的方方面面。如果说人工智能极可能是人类历史上最冒险的一次尝试,那么此刻,我们更需要展望未来,站在当下充满不确定性的世界,去思考必定更不确定的未来,提出一个问题:未来的世界将更安全吗?
讨论安全问题,我们常去构建可能的不安全情景,在最不利的情景下去评估保障安全的能力。我们尝试采用这种思维模式,面向未来人工智能时代,思考一些可能的不利假设,提出三个问题:社会阶层分化会更严重并走向极化吗?技术灾难和战争威胁是否无法消除?人性的弱点是否将被放大?
一、假设之一:未来人类社会阶层更加分化
这种假设完整表述为:人工智能时代,人类社会阶层将更加分化,而且这种分化将不受社会治理变革的约束而走向极化。
资本主义使得人和人的关系异化为工具性交换,进而形成系统性阶级分化和社会不平等。人类虽然将从人工智能工具中获得更为便捷的知识和解决问题的能力,但是一部分人类将在资本加持下,在运用人工智能技术进步上走得更远,从而在资本和衍生权力方面得到充分放大,进而加剧了劳动者之间的差异,加剧了劳动成果与劳动回报间的分离,这将是一种加速社会阶层分化的过程。在此过程中,如果人类摆脱不了思维惰性和固执偏见,面对失控的人工智能算法操控,信息茧房效应加剧,不同社会群体更加难以共情、沟通和互信,极端主义在各个领域被放大,必将导致社会观念和政治对立更加极化。
1995年美国芝加哥的高温热浪造成700多人非正常死亡,危机中的隐形杀手直指社会阶层分化所形成的“社会隔离”,独居老年群体、贫困社区的非洲裔居民等,由于事实上长期被物理空间、社会空间、心理空间所隔离,在气象灾害面前凸显极端脆弱性,成为高死亡率的主要因素。那么,人工智能时代将会加剧还是会减轻这种情况?
进一步设想这种情况,社会隔离现象在人工智能时代是否会演变为“数字隔离”?数字隔离至少包括信息阻隔和智能阻隔两方面。信息阻隔是由于算法推送而产生人与人在信息禀赋上的天然差异,智能阻隔是由于资源投入而形成人与人在智能获取使用上的位势差异,当两者成为社会常态,社会隔离的新形态“数字隔离”将根深蒂固,并一步步助推社会阶层的分化走向极化,未来世界的不安全因素也因此增多。
二、假设之二:技术灾难和战争无法消除
这种假设完整表述为:人工智能时代,人类的大多数生存安全条件都将得以增强,安全环境前所未有地改善,但技术灾难和战争风险并不能降低,而后者带来的后果将是毁灭性的。
科技是发展的利器,也可能成为风险的源头。毫无疑问,一方面人工智能对人类诸多方面带来跨越式的进步,诸多科学重大进展都有证据。科学领域权威期刊展示了一些进展,例如,人工智能系统在某些癌症早期识别任务上的表现优于经验丰富的医生;受过训练的人工智能发现了比现有的人类和计算机所设计算法更加有效的矩阵乘法算法;人工智能在气候建模和预测方面的能力已经超越了传统方法,能够更准确地预测极端天气和长期气候变化。人工智能将会给人类生命健康带来前所未有的保障,将在疾病预防和治疗、生态环境监测和治理、重大灾害预警和应对等方面发挥前所未有的积极作用,这将使人类的安全环境前所未有地改善。
然而,另一方面的担忧仍然存在。常态事故理论强调技术主导的复杂系统本质决定了事故将是“常态”而非例外,系统高度的复杂性和紧密的子系统间的耦合决定了事故无法通过常规的优化管理来避免,虽然批评此观点的学者不愿否定技术进步带来的风险管控的进步,但是,未来人工智能驱动的经济社会运行巨系统中,谁能确保人为失误不会出现?谁能确保某些子系统技术事故不会快速演变为系统崩溃式破坏?谁能确保深度隐藏的技术系统缺陷不会突然以独特破坏方式出现?技术灾难风险在未来智能时代仍不可避免,如果说切尔诺贝利核事故的物理影响还能控制在一定地理空间内,人工智能的技术灾难在网络空间的蔓延一定会是全球性的,这种破坏的后果不亚于世界性的战争。
另一种担忧同样存在。让人工智能落入极端主义分子的手中,不负责地部署武器并使用,人工智能在核心特定武器装备上的恶意使用,自主武器系统的管控失效,将对全人类构成更大的威胁。与此同时,人工智能时代的开启刚好与当今世界紧张局势加剧重合,国际关系和地缘关系未来极可能被智能空间重新塑造,算法统治信息下的政治极化加剧,进一步增加了战争的风险。所以,技术灾难和战争风险并不能降低的未来,也不可能将是安全的世界。
就技术领域来说,更不用延伸到对于技术奇点的探讨,人类若无法控制技术奇点的出现,无论是技术自主产生还是人为产生,将会导致未来世界文明变革走向更加不可预测。
三、假设之三:人类自身的人性弱点将被放大
这种假设完整表述为:人工智能时代,人类将无法克服人性中根深蒂固的弱点,这些弱点被智能算法及其驱动的场景所放大,形成新型的群体性弱点,最终为此付出代价。
人性弱点源于进化形成的认知机制并不断塑造人类的心理倾向,当然这也形成了丰富多彩的人类社会和文化。《全球风险报告》2024年报告中,将人工智能相关风险提到了最高级。短期来看,人工智能生成的虚假信息带来的风险呈现出激化社会分裂等显性问题;长期来看,人工智能失控性发展的风险将波及环境生态、地缘冲突等领域。然而,不可否认,人性的弱点,包括贪婪、傲慢、偏见、短视等,在人工智能时代都有可能会无限放大,与上述社会、环境、冲突等问题叠加在一起,极易形成社会生活中的系统性风险隐患。
首先是人类理性思考能力的退化。智能时代信息产生和获取前所未有加速,人类面对信息过载和决策过快,自远古以来在生存和斗争中习得的认知系统在短时间内不可能有实质性的更新换代,但浅表层面的认知强化却已经发生,有研究表明,人工智能的出现使得卡尼曼双系统理论中的系统依靠习惯和情感的快速决策不断强化,需要深思熟虑和逻辑推理的系统却得不到锻炼,这种思考模式在日复一日的训练下,人类距离理性思考只会越来越远。
其次是人类即时满足相关短视行为的激励。强调即时满足的短视行为在远古时期的人类生活中却是提高生存概率的通行之道,人类经历种种教训在漫长的过程中学会克服短视,但人工智能带来的突然改变打破了这种进程,人类的进化速度远远慢于人工智能的迭代,人类将注定被智能算法绑定而染上群体性的信息成瘾,这种即时满足的心理重新构建,激发了人类对待生产生活的耐心阈值全面下降。这样,人类距离卓识远见会越来越远。
最后是人类固执和偏见的强化。人工智能个性化算法推荐无疑放大了每个人的固执与偏见,在技术朝着原有方向越走越远时,与其对抗的措施相比极为乏力。信息爆炸的同时,作用到每个人的却是信息茧房。这个论断在大规模对照试验中已经证实,信息系统性减少和偏差将直接导致偏见固化,这种现象在政治(如美国总统大选)、气候变化、核电站、移民等议题中已经凸显。
当然,人工智能时代人性的弱点很多方面在一定时期必然会被放大,而克服这些弱点的新机制难以在短时间构建起来,因此,我们不得不严肃思考人工智能触发的人性弱点的新形态,否则人类将成为其自身弱点的牺牲品,未来世界的安全将大打折扣。
四、面向未来构建更加安全的世界
如果前面所述的三种悲观的假设都成立,那么我们的后代将会面临一个令人绝望的世界。相反,如果我们能够努力打破这些假设,我们的后代必将生活在一个更加安全的世界,那也将是我们期望的。
我们相信人在改造自然和社会的同时,也在改造自己的思维和能力,人工智能时代所改变的生产力和生产关系,也将带来前所未有的人类潜力的提升,进而创造更高质量的发展机遇和条件。因此,问题的本质不是人工智能带给人类一些暂时的负面作用,也不是人类在智能时代将面临的潜在巨大风险,更不是人工智能将会取代人类,而是我们在人工智能时代,主动做好以人类命运共同体为共识的全球治理体系和能力变革,用好人工智能科技的进步,努力创造更加公平的社会、更加可控的技术和更加向善的人性。
李韬:人工智能时代影响国家安全的新兴因素及治理逻辑
当今时代,人类正阔步迈向数字社会、智能社会。基辛格曾言:“网络空间挑战了所有”而人工智能技术和应用的加速发展,在给人类社会带来前所未有发展机遇之际也伴生了诸多的不确定性,同时也给国家安全、国家治理带来巨大风险挑战。在时代的颠覆式变革中,国家安全理论和实践的各个维度正经受着前所未有的冲击。虽然传统地缘政治视域下大国博弈的安全叙事仍在持续展开,但新兴安全因素正在强势崛起、新的安全逻辑正在悄然生成。如何正确认识人工智能时代的新变量新挑战,重塑安全常识,革新安全思维,厘清安全逻辑,将是维护国家安全的重大历史课题。
一、算法“与谋”:“个性化政治”冲击和挑战着西方国家传统安全结构
2016年以来,随着美国特朗普的当选和英国正式脱欧,隐匿于其幕后的一个名为“剑桥数据分析公司”浮出水面,人们深切了解到大数据分析、智能算法推荐等在政治选举、公共决策等中的深度“与谋”,也感受到政治日益变成“计算的政治”的风险,学界通常把其归为“非传统安全问题”。如果将智能时代的各种新技术新应用带来的安全挑战视为外因并将其归入非传统安全问题,那么当下在算法“与谋”的情景下,由美西方政治人物“个性化政治”带来的巨大不确定性,则是不折不扣的内因,且可视为传统安全问题在数智时代的演化。政治人物的个性本就是国际关系和国家安全研究中备受重视的研究主题,但美欧当下的“个性化政治”所带来的安全冲击,已经不是政治人物个人的性格问题,而是一种时代现象。无论是在欧洲、亚洲还是在美国国内,特朗普开启新任期都被视为影响安全局势的最大不确定性因素之一。欧洲大陆极右翼的崛起和民粹主义的抬头业已成为不容忽视的时代潮流。更严重的是,成为政治符号、意见符号、宗教符号多重意义合一的政治人物似乎已经变成相当一部分美欧政客的政治抱负,日益“特朗普化”的美欧政坛正成为这个时代最令人难以置信的现实,凡此种种求诸传统理论解释已然不够。
一种可信的解释是,智能时代社交媒体、算法推荐和定制化新闻是催生这一现象的关键催化剂,“病毒式传播”的社交媒体特性和“流量为王”的互联网经济形态相结合,为个性化政治人物的崛起提供了肥沃的社会土壤;而“情绪化叙事”的媒介环境与其政党选举制度碰撞,个性化政治人物遂成为美欧政治生态中最容易赢得选票的形象设定;“信息茧房”效应和“回音壁”效应作用下政治人物对自我的认同与职业使命相混淆并最终超越了职业使命,传统政治人物的伟大志业追求更是难觅踪影,国家利益由此下沉为个人信仰与欲求的工具;内外因素综合之下,政治人物与网络情绪的直接媾和,“短路”了其他所有政治进程,美欧长期引以为傲的各种政治结构也在自下而上的网络民意狂潮和自上而下的政治人物个性高压之下被“击穿”,传统政治机制由此全面发生效用递减,传统精英政治也随之被“边缘化”。这一过程看似民众对建制的厌弃,实则是西方代议制民主与无节制的智能社交媒体算法共谋的结果。
智库深度参与美国政治是一个重要的传统,但在当下的美国,疏于数字化智能化的传统老派知识精英想要扭转这一局面恐怕难有建树。美国智库介入现实政治的能力被大为削弱,更多的只能以旁观者之姿,看着特朗普这位推崇“交易型领导”、擅长“麦克风外交”的美国总统,在国际国内屡屡引发多重安全冲击,并不断改写国际外交规则。
显然,在智能算法加持下,个性化政治人物的崛起已成为欧美社会的现实,由此引发的安全冲击和变化,又进一步彰显了个性化政治人物的影响和地位。顺之,则会使得未来的不确定性日甚;逆之,则会在当下引发直接的社会冲突和种群仇恨。
二、平权困境:人工智能时代涌现的新型不平等威胁国家安全和社会稳定
伴随着人工智能的加速发展,不同国家和地区之间的智能鸿沟日益加剧,有的处于山峰之巅,有的处于山谷之底,全球可能日益分裂为“人工智能强国”和“人工智能弱国”。正如赫拉利所言,冷战期间,许多地方的铁幕真的是由金属制成的:一道铁丝网,将两个国家硬生生地隔开,现在的世界则逐渐是被硅幕分割的,“这种情况可能会导致新型的数据殖民主义,也就是会通过数据控制遥远的殖民地。而控制了人工智能与数据,也能让这些新的帝国控制了人民的注意力。发达国家在人工智能研发、算力资源和数据获取、数据安全等方面占据主导地位,高性能计算资源集中在少数机构或国家,限制了欠发达国家和地区的创新能力,进而通过数字化智能化技术渗透发展中国家的经济和政治体系,威胁发展中国家的主权、安全和发展利益。美西方加快人工智能军事化进程,力求打破战略平衡,持久维持自身全球霸权地位。伴随着数字化智能化驱动下的权力转移进程,一些掌握先进人工智能技术和应用的非国家行为体(超大平台、匿名黑客组织等)日益成为智能时代的重要权力主体,若控制不力,人工智能工具可能会被不当甚至非法使用,让国家安全未来充满了更大的不确定性。
同时,与历次科技革命均会带来不同程度的社会风险相类似,人工智能的发展应用也会产生各类社会风险。首当其冲的就是人工智能带来的就业替代风险。马克思、凯恩斯都曾就“技术性失业”表达过担忧。根据国际货币基金组织的报告,全球近40%的就业人员面临着人工智能替代风险。就业岗位被人工智能取代可能导致失业潮,容易扩大贫富差距,增加社会安全风险。算法偏见可能使执法、社会福利分配等公共政策偏离公平,容易引发信任危机和公共治理政策失衡。弱势群体可能因缺乏数字技能或设备,无法享受人工智能带来的便利,甚至被智能算法排斥。基于历史数据的人工智能系统可能固化社会偏见(如种族、性别歧视),导致就业、信贷、司法等领域的不公平结果。凡此种种,挑战着我们对不平等的时代认知,如何正确认识人工智能时代的新型不平等,未雨绸缪,提出有前瞻性的应对之策,考验着我们的智慧。
三、认知歧异:算法操纵下观念冲突与认同危机成为安全事件的重要诱因
国家安全深受社会认知差异的影响,对此理论家们早有洞察。国家的行为不仅受权力政治的驱动,还受到文化和意识形态的影响。国家对外政策是其文化和价值观的延伸,这些因素会影响国家对安全的认知和追求,不同国家的安全文化差异也会影响其对国家安全的认知和战略选择。实际上,国家对安全的追求并非完全基于客观威胁,而是受其主观认知的影响,国家对威胁的感知和误解是导致冲突的重要原因。国家无法完全信任其他国家的意图,这种认知上的不确定性会导致安全困境的加剧。历史上,国家安全的认知差异长期被地缘政治绑定,掩盖了其在国家安全领域引发危机和冲突的独立性,也很少被视为驱动国家安全行为的主导因素。第二次世界大战结束后的产业链全球化和全球贸易体系将各国融合为休戚与共的一体化大市场,传统上居于中心地位的利益冲突诱发的国家间武装冲突,特别是经济大国之间的武装冲突的可能性被大大抑制。
事实上,21世纪爆发的数场国家间大规模武装冲突已然清楚地表明,认知差异因素正在成为国家安全中的主要挑战。智能算法加持下的社交平台等在全球范围内的广泛普及,使不同认知突破时间和空间的枷锁在虚拟空间相遇,在迅速消弭了部分浅表差异的同时,加速了深层次认知差异的直接对撞。随着数字化智能化的加速发展和快速普及,人人都可借由社交媒体将自身内隐认知外放为社会认知,社会认知差异迅速井喷,由此引发的社会偏见、意见极化、矛盾激化开始成为社会“流行病”。即便从一个国家内部来看,封闭的圈层、极化的民粹主义、极端的民族主义,所有这些都大大增加了国家安全叙事的认知误解和安全危机涌现。
从全球看,“人工智能革命的到来会形成诸多对立的数字领域……人类社会分裂成一个又一个的信息茧房,不但会造成经济对抗与国际紧张局势,还会发展出各种截然不同的文化、意识形态与身份认同”。基于智能算法的认知战和心理战被一些国家作为“利器”重点发展,近年来,美西方利用大数据、情感计算、算法推荐等技术方法,针对大群体目标进行大规模认知结构分析,针对具体目标进行精准心理操控,持续实施思想渗透和认知供给,对其他国家安全构成重大威胁。
对此,有人将人工智能技术视为激发安全误解、诱发安全误判、引发安全冲突的根源。其实人工智能只不过是在千万倍加速演算和推理的同时,千万倍地放大了人类社会的认知差异而已,毕竟在“深度学习算法+海量数据+算力”的技术范式中,人类社会的各种认知差异、偏见乃至陋习无一例外地被囊括其中。因此,人工智能并不是认知差异的根源,而是其扩音器与放大器。
四、数字治理:应对人工智能时代国家安全风险挑战的路径选择
人工智能时代背景下,面对算法“与谋”下的个性化政治、日益被数字化智能化放大的认知歧异以及新型不平等问题等多重挑战,我们必须坚持以总体国家安全观为指导,与时俱进,创新推进国家安全体系和能力现代化。在具体操作层面,数字治理或将成为应对人工智能时代国家安全挑战的有效选择。所谓数字治理,一般来说是指以数字化智能化赋能,多元主体共同参与相关事务的制度安排和持续进程。从本质上看,数字治理强调科学、透明、民主、包容、公正等原则,是通过思维创新、技术创新、制度创新等重塑治理体系、提升治理能力的动态过程。
第一,以多元共治的数字治理降低“个性化政治”带来的安全风险。多元共治是数字治理的基本逻辑。在人工智能时代,应创新全球数字治理机制,充分释放数字化智能化治理手段的优势,更好发挥联合国等国际组织、各国政府、平台企业、网络社群等主体的作用,增强各主体参与治理的内生动力,增加治理过程的民主性、透明性,以有效抑制政治人物个性化执政引发的安全不确定性,也可在不确定性爆发时,对其冲击力进行有效缓冲。
第二,以技术、制度与人文协同共生为原则构建算法安全治理体系。通过技术重构、制度体系重塑与协同范式升级,构建更具适应性、包容性与韧性的算法安全治理体系。研究构建算法安全影响评估体系,健全算法安全问责等工作机制,促进算法在社会认同增进、价值鸿沟弥合等方面发挥积极作用。推进物理—数字空间治理协同,通过协商解决冲突,有效应对认知差异导致的安全事件。
第三,以数字平权理念与行动缓解人工智能带来的新型不平等安全风险。数字平权的关键在于通过包容性设计准则、数字公共产品供给、分布式技术架构,将技术红利转化为普惠发展动能,逐步弥合不同国家和地区之间、同一国家不同区域之间、不同群体之间的智能鸿沟,进而提升数字能力,为实现公民的数字权利与数字权力提供制度性保障。这既需要技术伦理的底层约束,更离不开全球数字治理规则的协同创新。
时移世易,安全异矣。人工智能时代涌现的安全新因素、新逻辑和新挑战不只是既有安全秩序的破坏者,同样也是新秩序构建的“助产士”。唯有勇于突破思维桎梏,革新方法路径,才能适应时代变局,化危为机,引领和缔造人工智能时代公正、合理的全球数字治理新秩序。
罗清平:人工智能时代国家安全面临的机遇挑战及应对
人工智能不仅是总体国家安全观的重要领域,更通过技术赋能与风险防控的双重属性,成为维护新时代国家安全工作科技赋能的支撑手段。人工智能正深度融入社会发展的各个层面,对国家安全的影响广泛而深远。深入剖析人工智能给国家安全带来的机遇与挑战,并探寻有效应对之策,具有重要的现实意义和战略价值。
一、人工智能为维护国家安全带来的机遇
一是增强安全监测与预警能力。在传统安全领域,人工智能技术有效应用于政治、经济、军事和国土安全的海量数据实时分析,特别是融合了语言、文字、图片、视频等诸多信息形态的新一代人工智能技术,极大提升了信息分析与传递效率、拓展了安全防范的手段与能力。通过建立以机器学习为主干的数据处理算法,能够对来自多源感知渠道的复合情报信息实现高效分析解读,更为快速、精准地识别敏感事项、风险起因、危害影响等态势,并大幅降低预警系统的虚警率,助力维护国家安全和社会稳定。在非传统安全领域,人工智能技术更加彰显赋能主体的功能。如人工智能赋能网络安全治理,已成为支持网络漏洞核查与防御的能力加速器;在核安全方面,人工智能技术与核技术相结合将显著提升核能装备运行监测、故障诊断、辐射防护和安全管控功能,以人工智能和大数据技术为核心,构建核电发展的智能化运维安保体系,是推动核电积极安全有序发展的有力举措。
二是提升安全防御与应对效能。利用人工智能技术是提升安全风险防控和应对效能的有效途径。近年来,生成式人工智能以其超强的推理和信息整合能力在赋能网络空间治理方面展现出强大的应用前景。在内容上强调以智能信息物理服务为重心;在技术上强调向智能信息物理融合技术流程转变,以生成式人工智能运用为引导,建立适应数据动态流动的治理流程,消解数据安全风险;在管理上持续完善网络空间治理评估能力,针对信息供给、技术应用和治理效果进行评估,提升了网络空间防御和应对效能。以核能发电为例,网络系统已融入核电站日常运行的各项基本功能和生产环节,保护网络及信息系统安全不仅是确保核能发电连续稳定生产的必要条件,也是核电站重要设施安全保障的重要指标。
三是推动安全决策更趋精准和科学化。人工智能强大的数据处理和分析能力,以及在信息收集、风险预测、方案制定和辅助决策等方面所体现的效能优势,能够成为贯彻落实总体国家安全观,推动国家治理体系和治理能力现代化的辅助决策工具。如在制定外交政策时,通过对全球政治、经济、社会等多方面数据的综合分析,人工智能系统可以预测不同政策选项可能带来的影响。在应对自然灾害、恐怖袭击等紧急情况时,人工智能辅助决策系统能够快速整合各方资源信息,制定出最优的应对方案,实现资源的高效调配。在核工业领域,正抓紧推进“人工智能+”行动,将数字技术与核制造、工程和生产优势更好地融合起来,支持发展大模型应用和智能网联终端以及智能核装备能力,打造具有国际竞争力的数字化核产业集群。人工智能已应用于核电厂的运行和维护、核燃料循环管理、核设施安全监测及智能巡检等方面,采用人工智能技术升级实时数据分析、异常模式识别、虚拟仿真与实况模拟等先进能力,赋能核能安全发展,显著提升了在役核装备的操控精准化和运行效率、提高核工业发展决策的科学化水平。我国开发的智能化核动力仿真平台(RINSIM2.0)及核能建模与仿真平台(NIMOS)等,可应用于设计验证、操纵员培训、应急演练、V&V验证等应用需求。
二、人工智能时代国家安全面临的挑战
一是信息系统和网络安全风险升级。人工智能技术使得网络攻击具有非常高的隐蔽性,利用人工智能算法开发的网络攻击恶意软件更具针对性,手段更加复杂,算法黑箱、数据投毒、对抗样本等可以在短时间内对目标系统发动大规模攻击,而网络监测手段对潜在网络攻击代码和攻击发生后的追踪溯源、根因分析及风险处置能力都亟待提升,否则可能使网络安全防御面临既不能预防于前,又不能追责于后的尴尬局面。随着人工智能在能源、交通、金融等关键基础领域应用的不断深入,信息系统中的服务器、数据库和机房设施等安全监护尤为重要,这些基础设施及网络系统一旦遭受攻击,也将对国家经济社会运行造成严重影响,威胁国家安全。
二是数据安全隐患凸显。“人工智能+”的发展高度依赖海量数据,这需要加强数据资源的开发利用,促进和深化相关数据的跨域跨境流动,但是在数据的收集、存储和使用过程中不可避免地面临诸多安全风险。首先,人工智能在进行数据采集时会强制读取、收集用户数据,而这些被收集的数据最终作何使用也不得而知。其次,人工智能对数据进行窃取攻击,能通过关联分析、推理演算、逆向还原等方式将收集到的训练数据恢复出更多维度的用户信息,在数据的跨境流动环节,一些国家可能利用数据优势,通过数据分析获取他国关键信息,威胁他国数据主权和安全。最后,在机器学习的模型训练环节,人工智能在没有获得数据归属方同意的情况下,对收集到的数据中混入错误或恶意修改,意在导致模型出现偏差,进而影响基于该模型的安全决策而构成危害性风险。
三是国家安全与稳定可能受到冲击。随着人工智能技术的快速发展,由人工智能技术外延所导致的安全风险引发广泛关注。首先,人工智能技术在信息传播领域的应用,让虚假信息的制造和传播变得更加容易和快速。通过人工智能生成的虚假新闻、图像和视频,可能误导公众,将可能被利用于制造社会恐慌、煽动社会矛盾、破坏社会秩序,对国家安全构成威胁。其次,当前地缘政治的干扰可以被认为是对人工智能安全需要关注的第二个层面。中方对中美合作和全球治理保持冷静的积极态度,提出两国应该在分歧问题上尊重彼此核心利益和重大关切,坚持相互尊重、和平共处、合作共赢的原则。但在人工智能技术发展的全生态链条中,遏制打压我发展的主要困扰来自美国,以“去风险”为由加征关税,对我“脱钩断链”,“筑墙设垒”,建立“小院高墙”。最后,人工智能的发展进一步促使弱、小国家对强、大国家的科技、经济和安全的依赖,进一步使国际权力结构趋向固化,当“赢者通吃”的人工智能技术竞争和商业竞争规律被复制到国际关系之中,就必然会冲击国家间的主权平等关系。
三、应对人工智能时代国家安全挑战的策略
一是实现人工智能关键核心技术自立自强。科技创新能力竞争是大国博弈的重要内容。面对遏压以及人工智能的内生安全风险和应用安全风险,应聚焦关键核心技术的差距和短板,加快研发进程,推动人工智能高水平发展;应加快人工智能领域的人才培养和学科布局,围绕产业需求和区域发展布局人工智能相关专业;推动人工智能专业与各类相关学科的交叉融合,面向本领域需要的专向方向培养人工智能的研发、运维与管理人才。针对我国核工业新质生产力发展的需求,强力推进人工智能技术与核能研发、生产、管理等关键领域深度融合,构建智能化应用框架。制定数据管理制度和机制、建立数据管理流程和规范,构建贯通核工业领域的大数据系统;强化核科技创新,提升智能监测、建模仿真、数值模拟与智能设计能力,为核产品智能制造、生产能力高质量发展提供坚实支撑。
二是建立和完善人工智能安全监管体系。在人工智能领域,要做到“边发展、边治理”,及早将政策法规贯穿到人工智能的设计、研发、部署和维护各个环节,将伦理道德融入人工智能全生命周期, 制定研发人员的伦理行为守则和行业道德规范,不断增强系统的可解释性与透明度;畅通各类社会主体参与人工智能监管的体制机制和渠道,确保人工智能良性发展;加强国际的监管合作,共同应对人工智能带来的跨境安全问题。同时,加大对人工智能安全技术研发的投入,重点研发人工智能系统的安全检测、漏洞修复、对抗攻击防御等关键技术,提高人工智能系统的安全性和可靠性。人工智能在核工业领域的安全监管涉及核数据、模型、算力和网络安全等多个方面,旨在确保核安全与核安保的可靠和可控。应注重提升预测和识别潜在核安全风险能力,通过持续监控和分析系统行为来及时发现并响应异常活动,完善数据保护、安全认证制度,以跨领域联合测试为抓手,加强对人工智能技术应用效果的核查和检测,防止并准备应对潜在的异常情况。
三是促进国际合作,推动构建人类命运共同体。人工智能的影响具有全球性,人工智能治理攸关全人类命运,是世界各国面临的共同课题,需各国携手应对。因此,人工智能全球治理必须以人类整体的利益福祉为宗旨,坚持自身安全和共同安全有机统一。中国作为人工智能全球治理的积极倡导者和贡献者,已发布一系列政策法规和国际立场文件,为促进人工智能全球治理提供了中国方案。中国倡议以合作共赢理念,广泛凝聚各方共识,主张同世界各国一道深化人工智能发展和治理国际合作,同时积极支持在联合国框架下讨论成立国际人工智能治理机构,协调国际人工智能发展、安全与治理重大问题,构建开放、公正、有效的治理机制,促进人工智能技术造福于人。
总之,应多措并举,充分发挥人工智能在维护国家安全中的积极作用,防范化解各类安全风险,不断调整和完善国家安全战略,以适应不断变化的安全形势,在人工智能时代切实维护国家主权、安全、发展利益,确保国家长治久安和社会稳定繁荣。
肖新光:把握人工智能发展与安全的历史主动
人工智能风险,不是一般性的技术安全问题,也不是简单的事故或质量安全隐患,其衍生于网络安全,但又超越网络安全。人工智能全面提升竞争与对抗的组织效率,改变竞争与对抗的资源需求结构,深远影响原有的战略平衡。
一、应高度重视人工智能技术带来的安全风险
人工智能发展必然经历新技术的风险伴生与加速过程。在网络信息领域,新技术发展必然伴生着对旧风险的加速“改造”、对新风险的创造,以及自身成为风险侵害对象的过程。
人工智能不可避免地带来网络攻击活动的变革,其对攻击杀伤链全过程都有强赋能作用,包括不限于:提升整理信息情报和挖掘攻击入口的效率、增强攻击编排和自动化能力、提升针对入口发起攻击的能力、增强恶意代码的开发效率甚至自动化编写恶意代码、改善免杀构造和突防能力、增强构建高针对性的社会工程话术以欺骗网管人员及用户的能力、增强漏洞和脆弱性发现能力、增强对安全机制的规避能力以及增加全过程攻击统筹能力等。
人工智能不可避免地带来一系列新的风险形态。其中不仅包括因其代替人类承载判断决策职能后,可能产生的失误所带来的影响远超传统自动化系统失误的综合后果,更有人工智能被潜在威胁行为体主动运用、持续创新过程中产生的威胁形态。超低成本的深度伪造,已经在认知干扰、网络犯罪中被广泛利用。未来更需要直面和应对脑机接口等技术广泛应用后带来的心智侵害等潜在风险。
人工智能不可避免地成为攻击目标,作为一系列复杂的数据采集、预处理、模型训练、评估优化、部署应用的复杂的甚至是黑箱的工作过程,其全生命周期中必然面对数据投毒、隐私窃取、模型攻击、恶意利用等风险行为。人工智能服务需要依赖算力平台基础设施来支撑其运行,承载主体不可避免地成为了攻击者新的攻击目标。人工智能大模型技术的训练和推理,依赖海量的硬件资源、数据资产和复杂的应用环境,这一方面使大模型平台成为新的信息资产汇聚地,另一方面,大模型基础设施和应用入口也成为用户和节点的新暴露面,面临着日益严峻的风险挑战。
攻击活动是穷尽威胁行为体资源与能力的复合行为,风险趋势最终也必然合流与纠缠在一起,形成叠加加速与演进。例如,以人工智能赋能的网络攻击活动,入侵高度智能化的关键系统,以智能体的方式持久化并不断进化,造成持续而又难以觉察的影响,并最终导致关键系统崩溃,严重影响国家安全和社会安全。
与此同时,人工智能驱动对抗模式重塑。从信息化到数字化转型伴生的风险,是系统侧风险逐步在业务侧和数据侧的放大过程。而从数字化到智能化伴生的风险,则是风险层次从数据侧和业务侧进一步上移到心智侧和治理侧的过程。也使网络攻击活动在对人机运行体系的攻击中,可以更多地将攻击点施加于更接近人一侧,从而绕过布设于机器侧依托特征工程和知识工程体系的传统防线。
对抗与战争似乎与人类社会发展形影相伴,对抗形式贯通着物理空间、网络空间和认知空间。对抗的模式,从原始部落间的(物理)搏斗与(心智)嘶吼,演化到今天复杂的行为体之间的竞争、博弈、对抗乃至战争的形式。对抗范式包括基于物质和能量的物理对抗、基于介质和数据的信息对抗、基于系统和环境的运行对抗、基于信息和影响的认知对抗。随着现代网络成为现代社会组织能力和军事体系运用的“筋脉”,成为连接物理社会和认知心智的最大界面,网络空间不可避免地成为常态化对抗领域。人工智能作为人类智慧在网络空间的延展,其不仅全面改变物理空间中的能力运用效率,也使认知对抗逐渐成为诸多对抗范式中的主导范式。
二、正确看待人工智能发展与安全风险的辩证关系
不发展是最大的不安全。只有立足于快速发展,才能形成安全与发展的新的平衡。从信息化到数字化再到智能化,这是不可逆的历史趋势。因担心风险而阻滞发展,不仅不会带来安全,反而会因为发展缓慢形成更大的战略安全被动。在外部竞争和威胁始终存在的背景下,安全风险不只来自我们对自身技术发展的安全规划,更来自与主要压力方之间,在有效创造、掌握运用技术上的加速度比拼。因此,应立足让发展的增益远大于风险的影响,以快于竞争对手的发展加速度和优于竞争对手的安全与治理能力,渐进构建发展中的安全防线。
人工智能的发展将带来网络安全的巨大增益。每一种新技术带来风险的同时,也会成为应对风险的重要手段。例如,互联网带来了安全威胁的快速流动,但也为安全能力的分发、安全运营的快速闭环构造了基础条件。云计算带来了体系性的攻击,增加了导致整体崩溃的可能性,但云应用也为重构强治理支撑的统一安全防护带来契机。人工智能技术同样正在深度改变网络安全的防御能力和运行机制。在网络安全的工作体系中,从威胁捕获、分析,到支撑威胁分析的特征工程与知识工程体系,均可借助人工智能技术实现加速发展。在实际防御场景里,鉴于当前用户资产规模庞大、信息系统应用繁杂且接入泛在,在如此复杂的资产运维体系中保障安全,涉及海量数据的分析、研判,以及相应的响应与决策,对net网络管理者的专业水平要求很高。引入人工智能技术后,有望全面提升网络安全从保障目标对象体系到产品赋能产业体系的防护效果与水平,提高防护智能化程度,有效降低对网络安全工作者的经验依赖。以安天的反病毒引擎共性技术研发为例,安天“澜砥”大模型已经能以数兆大小的体积,达成与传统数百兆大小的规则库(数千万条规则)几乎一致的检测效果,并有极强的抗衰减能力。这说明了新技术发展兼具威胁加速器和缓冲器的双重属性。但新技术的安全增益不是自然产生的,而是需要主动塑造和创新应用的。
三、以高度自觉把握人工智能安全与发展的历史主动
人工智能的自我“觉醒”甚至“越狱”,并非不需要防范的安全风险。人工智能的发展会不会成为因人类好奇心而从潘多拉盒子放出的魔鬼,带来一种集体恐惧感?事实上,人类对新事物的好奇心和恐惧感,是人的本能之一,前者驱动探索与进步,后者驱动安全与治理。
西方舆论场一直在塑造“天网觉醒”式样的未来。仿佛人类的敌人并不是推动网络空间 kitten网络空间军事化的霸权国家机器和利益集团,而是先天具有工具属性的技术。技术本身是中性的,人工智能作为革命性的新技术,不可避免地与国家主权、安全、发展利益问题紧密结合在一起,从来也不应是一个脱离国家、民族与阶级的普适化安全命题。
技术风险的核心从来不在新技术本身,而在于技术为谁所有、为谁所用,以及如何做好技术自身的安全应用。关键在于技术掌握在热爱和平与正义的国家手中,还是掌握在热衷于战争与霸权的国家手中?是更好地运用于社会治理、服务于人民生活,还是为侵害他方、获取私利?
霸权国家幻想依托算力限制、脱钩断链、数据资源封锁等多种方式,对我国构造人工智能的“小院高墙”壁垒,我们更需要加速人工智能的发展,并推动面向全球数字治理的人工智能“平权”运动。
在霸权国家全面加速人工智能的军事和情报运用过程中(包括微软、谷歌等信息复合体企业,快速向信息军工复合体的转化),中国的网络安全工作者和产业主体更应破除原有的唯市场化的思维定式,以高度历史自觉主动融入国家安全大局,助力构建人工智能时代国家战略网络空间安全产业体系,筑牢国家网络安全屏障。