深度解析：人工智能安全体系与网络空间防御

1

人工智能安全

人工智能安全主要涵盖三个细分领域：

人工智能赋能安全（AI for Security）

人工智能内生安全（AI Security）

人工智能衍生安全（AI Safety）

其中，赋能安全彰显了 AI 技术的辅助增强作用；而内生安全与衍生安全则反映了 AI 技术伴随产生的效应。构建人工智能系统不能仅依赖技术，还需结合外部多重约束，共同打造合规且完善的体系。

人工智能安全的整体架构及其外部联系参见图 1。

人工智能赋能安全

主要体现为辅助防御与辅助攻击两大维度。

在辅助防御层面，防御方正借助 AI 技术优化并拓展既有的防御手段。

基于机器学习的 AI 模型为主动式网络防御开辟了新路径。智能模型采取主动出击策略，摒弃了传统的被动响应模式；同时，凭借 AI 的预测力与机器学习的进化力，我们获得了应对复杂网络威胁的新工具。本质上，最关键的转变在于能在网络攻击发动前发出预警并实施拦截。

麻省理工学院推出的 AI 驱动网络安全平台 AI2，利用 AI 方法剖析网络攻击态势，协助分析师完成类似“大海捞针”的任务。AI2 系统首先运用机器学习自主扫描数据与活动，将结果反馈给分析师。分析师甄别出真实的攻击行为，并将反馈输入 AI2 系统，以优化对新日志的自动分析。测试显示，AI2 的准确率约为现有自动分析工具的三倍，显著降低了误报率。此外，AI2 在分析中能持续生成新模型，意味着其预测率可快速提升。系统检测的攻击越多，获得的分析师反馈越丰富，未来的预测精度也就越高。据悉，经超 3.6 亿行日志训练，AI2 能识别出 85% 的攻击行为，从而对可疑活动发出警报。

在辅助攻击层面，攻击者正利用 AI 技术突破原有能力局限。

AI 可赋能网络攻击，业界称之为自动化或智能化攻击。借助机器人，攻击可在无人干预下自动执行。近年来发生的重大黑客事件，如核心库泄密、数亿账户被盗、WannaCry 勒索病毒等，均具备自动化特征。利用自动化工具，攻击者能在短时间内以更高效、隐蔽的方式扫描探测大量网站，特别是针对 0day/Nday 漏洞的全网探测将更频繁高效。AI 强大的数据挖掘与分析能力及其带来的智能服务，常被黑客组织利用，推动自动化攻击向更拟人化、精密化发展。此类机器人模拟真人行为更聪明、大胆，且更难追踪溯源。当前，自动化、智能化的网络攻击正不断突破安全防线，这亟需网络安全行业高度重视，从剖析自动化攻击特征入手，及时应对。

人工智能内生安全

人工智能内生安全指 AI 系统自身存在的脆弱性。成因复杂，框架/组件、数据、算法、模型等环节均可能引入风险。

在框架/组件方面，难以确保实现的正确性与透明度是内生安全问题。框架（如 TensorFlow、Caffe）是开发 AI 系统的基础环境， akin to Visual C++ 的 SDK 库或 Python 基础依赖库，其重要性不言而喻。

在数据方面，缺乏对数据准确性的甄别能力构成内生安全问题。例如，数据丢失、变形或噪声输入，都会严重干扰 AI 系统。

在算法方面，难以保证算法正确性是内生安全痛点。智能算法的安全缺陷一直是严峻挑战。例如，对抗样本即利用算法缺陷发起攻击，诸多自动驾驶事故也归因于算法不成熟。

在模型方面，难以防止模型被窃取或污染是内生安全问题。模型作为可拷贝、可修改的实体文件，面临被窃及植入后门的风险，这是模型安全研究的核心。

AI 自身存在脆弱性，对抗样本即是典型。这是机器学习模型的有趣现象，揭示了算法弱点。攻击者通过在源数据添加人类感官难辨的微小扰动，诱使模型做出错误分类。典型场景如图像分类，通过在图片叠加精心构造的变量，在人眼难察情况下误导模型。对抗样本不仅存在于图像识别，也见于语音、文本等领域。从网安视角看，类似对抗样本的攻击同样存在，攻击者通过对恶意代码插入扰动即可欺骗 AI 模型。例如，有人设计恶意样本使分类器将恶意软件误判为良性变体，从而构造自动逃逸 PDF 恶意软件分类器的方法，对抗机器学习在安全中的应用。上述问题均可能导致 AI 系统决策错误、判断失误乃至被控制。

人工智能衍生安全

人工智能衍生安全指 AI 系统因自身脆弱性而危及其他领域安全。主要包括四类：

AI 系统因脆弱性而遭攻击

AI 系统因自身失误引发事故

AI 武器研发或引发国际军备竞赛

一旦失控将威胁人类安全

AI 失误可能给人类带来灾难，形成衍生安全问题。2016 年 5 月 7 日，佛罗里达州公路上，一辆处于“自动驾驶”模式的特斯拉 Model S 以 74 英里时速撞上拐弯的白色拖挂货车。Model S 钻入车底，车顶掀飞，40 岁驾驶员 Joshua Brown 不幸身亡。该路段限速 65 英里/时。由于“自动驾驶”模式的前置高清摄像头为长焦镜头，当白色卡车进入视野时，摄像头仅看到悬浮地面的卡车中部，无法识别整车；加之当时阳光强烈（蓝天白云），系统误将障碍物识别为天空中的云朵，导致自动刹车未启动。此次事故引发了对自动驾驶安全性的争议。这种因自动驾驶缺陷导致的人员伤亡，是典型的人工智能衍生安全案例。

2

人工智能安全风险分析与内涵

1、新型攻击威胁：

攻击手段：对抗样本攻击、数据投毒、模型窃取、AI 系统攻击

攻击影响：模型训练、测试及推断过程均可能受袭；危害数据与模型的机密性、完整性和可用性。

2、人工智能安全隐患

①算法模型隐患：算法与模型皆由人编写，可能存在缺陷、歧视或黑箱操作。

②数据安全与隐私隐患：数据采集、使用、存储各环节均存在滥用与泄露风险。

③基础设施隐患：简言之，AI 依赖数据库、操作系统及代码。这些基础设施若被黑客掌控，数据即遭泄露。

④应用隐患：自动驾驶（黑客远程入侵致撞车）、生物特征识别（小学生用照片骗过人脸识别）、智能音箱等。

⑤AI 滥用：利用语音合成冒充亲属诈骗、AI 破解验证码效果日益增强且难防范、利用 AI 模仿人类如换脸、伪造笔迹、模拟人声、聊天机器人等。

3、安全影响：

国家安全影响：AI 可用于构建新型军事打击力量，威胁国防安全。

社会伦理挑战：智能机器人替代人力导致大规模失业；人类情感寄托转向机器人。

人身安全风险：抽象概念

3

网络空间安全

作为基于计算的学科，涉及技术、人员、信息及流程，旨在确保对抗环境下的可靠操作。涵盖安全计算机系统的创建、运维、分析与测试。这是一门跨学科课程，包含法律、政策、人为因素、伦理及风险管理等。

网络空间安全不仅关注传统信息安全中的保密性、完整性和可用性，还关注构成网络空间的基础设施安全可信，以及网络对现实社会安全的影响。

专业解析：国际惯例将机密性、完整性和可用性（简称 CIA）称为安全性三要素。凡网络空间中涉及 CIA 任一要素的内容，均属网络空间安全范畴。包括：防泄密、防未授权访问与篡改、防系统不可用。

网络空间

网络空间是信息环境的整体域，由独立且相互依存的信息基础设施和网络构成。涵盖互联网、电信网、计算机系统、嵌入式处理器及控制器系统。

专业解析：专业上通常将遵循 ISO/OSI 7 层协议框架（有时用 TCP/IP）的设备统称 IT(Information Technology) 设备或系统，如路由器、服务器、PC 及各类应用软件。若范围扩大至所有可联网的非 IT 设备系统：包括工业设备系统（Operation Technology，简称 OT）如核电站；物联网设备系统（Internet of Things，简称 IoT）如蓝牙音箱、自动驾驶汽车。这便是网络空间的范围。特点：海量 + 万物互联。

网络安全 Network Security

由为防止、检测和监视计算机网络及可访问资源的未授权访问、滥用、修改或拒绝而制定的策略、过程和做法组成。包含网络设备安全、网络信息安全、网络软件安全。

专业解析：网络安全通常指遵循 ISO 7 层协议框架（或 TCP/IP）的 IT 设备间如何保障机密性、完整性和可用性的问题。如：系统受袭、设备通信时被黑客嗅探获密。特点：聚焦 IT 设备。

信息安全

严谨定义：ISO27001 定义：为保护组织有价值信息资产的机密性、完整性和可用性而建立的组织、策略与流程。

专业解析：企业内部有价值信息资产含硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的 CIA。例如：防公司重要数据库服务器被毁。可能是外部黑客，也可能是内部人员所为。

数据安全

严谨定义：维基百科：保护数字数据免受破坏力及未授权用户有害行为的侵害，如网络攻击或数据泄露。

专业解析：结构化、半结构化及非结构化数据在全生命周期中的机密性、完整性和可用性保护。

重要性

进入 21 世纪，随信息化建设与 IT 技术飞速发展，网络技术应用愈发广泛深入，同时涌现诸多网安问题，致使网络安全技术重要性日益凸显。网络安全已成为各国焦点，不仅关乎机构与个人的信息资源及资产风险，更关系国家安全与社会稳定，成为热门研究与人才需求新领域。必须在法律、管理、技术、道德各方面采取切实有效措施，方能确保网络建设与应用“又好又快”稳定发展。

网络空间已逐步发展为继陆、海、空、天之后的第五大战略空间，是影响国家安全、社会稳定、经济发展和文化传播的核心、关键与基础。网络空间具开放性、异构性、移动性、动态性、安全性等特性，不断演化出下一代互联网、5G 移动通信网、移动互联网、物联网等新形态，以及云计算、大数据、社交网络等新服务模式。

网络安全已成为世界热门研究课题之一，引发社会广泛关注。网络安全是系统工程，已成为信息化建设与应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等，是网络安全的重要保障。

信息、物资、能源已成为人类社会生存发展的三大支柱与重要保障，信息技术快速发展为人类社会带来深刻变革。随计算机网络技术飞速发展，我国在网络化建设方面成就瞩目，电子银行、电子商务和电子政务广泛应用，使计算机网络深入国家政治、经济、文化和国防建设各领域，遍布现代信息化社会工作生活各层面，“数字化经济”与全球电子交易一体化正在形成。网络安全不仅关系国计民生，更与国家安全紧密相连，涉及国家政治、军事和经济各方面，影响国家安全与主权。随信息化与网络技术广泛应用，网络安全重要性尤为突出。因此，网络技术中最关键也最易被忽视的安全问题，正危及网络健康发展与应用，网络安全技术及应用愈发受到世界关注。