AI安全学习要点总结

关注上方蓝色字体谈思实验室

收获更多汽车网络安全资讯

01

人工智能安全

人工智能安全包含三个主要方向：

AI赋能安全（AI for Security）

AI内在安全（AI Security）

AI衍生安全（AI Safety）

其中，赋能安全反映的是AI技术的赋能价值；内在安全与衍生安全则反映AI技术的伴生效应。AI系统并非仅依赖技术构建，还需与外部多重约束条件协同，方能形成完整合规的体系。

AI安全体系架构及外部关联如图1所示。

AI赋能安全

主要体现在赋能防御与赋能攻击两个维度。

在赋能防御方面，防御方可借助AI技术提升和拓展原有防御手段。

AI机器学习模型为前瞻性网络防御开辟了新路径。智能模型采取主动出击的方式，而非传统被动应对的策略；同时，凭借AI的预判能力和机器学习的演进能力，可为我们提供对抗复杂网络威胁的途径。从根本上讲，核心转变在于网络攻击发生前就发出预警并实施阻断。

麻省理工学院开发的AI驱动网络安全平台AI2，运用AI方法分析网络攻击态势，协助安全分析师完成如同"大海捞针"般的工作。AI2系统首先利用机器学习技术自动扫描数据和活动，将发现结果反馈给安全分析师。分析师会标注真正的攻击行为，并将专家反馈融入AI2系统，用于后续日志的自动分析。测试中，研究团队发现AI2准确率约为现有自动分析工具的3倍，显著降低了误报率。此外，AI2在分析过程中持续生成新模型，意味着能快速提升预测效果。系统检测的攻击越多，接收的分析师反馈越丰富，未来预测准确度也就越高。据报道，AI2经过超3.6亿行日志训练，可识别85%的攻击行为，并对可疑活动发出告警。

在赋能攻击方面，攻击方可借助AI技术突破原有能力边界。

AI可赋能网络攻击，业界称为自动化或智能化网络攻击。通过机器人实现完全无需人工干预的自动化攻击。近年来频发重大安全事件，包括核心数据库泄露、数以亿计账户被入侵、WannaCry勒索病毒等，均具有自动化攻击特征。借助自动化工具，攻击者能以更高效率、更隐蔽方式，在短时间内对大量网站进行漏洞扫描和探测，尤其对0day/Nday漏洞的全网探测将更加频繁高效。AI强大的数据挖掘和分析能力及其带来的智能化服务，常被黑客组织利用，形成更为拟人化、精细化的自动化攻击趋势，这类机器人模拟真人行为更聪明、更大胆，也更难追踪溯源。当前，自动化、智能化网络攻击持续突破网络安全防线，这显然需要引起行业高度重视，需从了解自动化攻击行为特征入手，及时采取对策。

AI内在安全

AI内在安全指AI系统自身存在的脆弱性。脆弱性成因涉及多个因素，AI框架/组件、数据、算法、模型等任一环节都可能引入脆弱性。

在框架/组件方面，难以确保框架和组件实现的正确性与透明性是AI的内在安全问题。框架（如TensorFlow、Caffe）是开发AI系统的基础环境，类似于熟悉的Visual C++的SDK库或Python基础依赖库，其重要性不言而喻。

在数据方面，缺乏对数据准确性的甄别能力是AI的内在安全问题。例如，数据丢失和变形、噪声数据输入，都会对AI系统造成严重干扰。

在算法方面，难以保证算法正确性是AI的内在安全问题。智能算法存在的安全缺陷一直是AI安全中的严峻问题。例如，对抗样本正是利用算法缺陷实施攻击的技术，自动驾驶汽车的诸多安全事故也可归因于算法不成熟。

在模型方面，难以确保模型不被窃取或污染是AI的内在安全问题。模型作为可拷贝、可修改的实体文件，存在被窃取和被植入后门的安全风险，这正是AI模型安全需要研究的问题。

AI自身存在脆弱性，例如对抗样本就是AI的内在安全问题。对抗样本是机器学习模型的一个有趣现象，揭示了AI算法的弱点。攻击者通过在源数据上添加人类难以感知的细微变化，却能让机器学习模型接受并做出错误分类。一个典型场景是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，使分类模型产生误判。对抗样本不仅存在于图像识别领域，也存在于语音、文本等其他领域。从网络安全领域看，同样存在类似对抗样本的攻击问题，攻击者通过对恶意代码插入扰动操作，就可能欺骗AI模型。例如，有人设计了恶意样本，使分类器将含有恶意行为的软件判定为良性变体，从而构造能自动逃逸PDF恶意软件分类器的攻击方法，对抗机器学习在安全中的应用。上述安全问题可能导致相同后果，即AI系统做出错误决策和判断，甚至被完全控制。

AI衍生安全

AI衍生安全指AI系统因自身脆弱性而危及其他领域安全。衍生安全问题主要包括四类：

AI系统因脆弱性可被攻击

AI系统因自身失误引发安全事故

AI武器研发可能引发国际军备竞赛

一旦失控将危及人类安全

AI失误可能给人类带来灾难，从而形成衍生安全问题。2016年5月7日，佛罗里达州公路上一辆开启"自动驾驶"模式的特斯拉Model S以74英里时速，撞上正在转弯的白色拖挂货车。Model S从货车底部穿过，车顶被完全掀飞，40岁驾驶员Joshua Brown不幸遇难。事发路段限速65英里/时。由于"自动驾驶"模式车前高清摄像头为长焦镜头，当白色拖挂货车进入视野时，摄像头只能看到悬浮在地面上的货车中部，无法看到整车；同时，当时阳光强烈（蓝天白云），使自动驾驶系统无法识别障碍物为货车，更像飘在天上的云，导致自动刹车未启动。这起事故引发外界对自动驾驶汽车安全性的质疑。这种因自动驾驶缺陷导致人员伤亡的事件，是典型的AI衍生安全案例。

02

AI安全风险分析与内涵

1、新的攻击威胁：

攻击方法：对抗样本攻击、数据投毒、模型窃取、AI系统攻击

攻击影响：模型训练、测试和推理过程均可能遭受攻击；危害数据和模型的机密性、完整性和可用性。

2、AI安全隐患

①算法模型安全隐患：算法和模型均由人编写，可能存在缺陷、偏见和黑箱操作。

②数据安全与隐私保护隐患：数据采集、使用、存储各环节存在不同程度的滥用和泄露。

③基础设施安全隐患：简单来说，AI也依赖数据库、操作系统、代码等基础设施，一旦这些被黑客控制，数据就会泄露。

④应用安全隐患：自动驾驶（黑客远程入侵控制导致事故）、生物特征识别（小学生用照片成功欺骗人脸识别）、智能音箱等。

⑤AI滥用：利用语音合成技术冒充受害人亲属诈骗、AI技术破解登录验证码效果越来越好且难以防范、利用AI技术模仿人类，如换脸、手写伪造、人声伪造、聊天机器人。

3、安全影响：

国家安全影响：AI可用于构建新型军事打击力量，对国防安全构成威胁。

社会伦理挑战：智能机器人替代人，导致大量失业；人们不再恋爱，转而与机器人恋爱。

人身安全风险：抽象

03

网络空间安全

基于计算的学科，涉及技术、人员、信息和流程，确保在对手环境中进行有保障的操作。涵盖安全计算机系统的创建、操作、分析和测试。这是一门跨学科学习课程，包括法律、政策、人为因素、道德和风险管理等方面。

网络空间安全不仅关注传统信息安全研究的保密性、完整性和可用性，还关注构成网络空间的基础设施安全和可信，以及网络对现实社会安全的影响。

专业解析：国际上习惯将机密性、完整性和可用性这三个属性（简称CIA）称为安全性的三要素。凡在网络空间中涉及CIA三要素之一的内容，均纳入网络空间安全范畴。包括：防止信息泄露、防止未授权访问与篡改、防止系统不可用。

网络空间

网络空间是信息环境中一个整体域，由独立且相互依存的信息基础设施和网络组成。包括互联网、电信网、计算机系统、嵌入式处理器和控制器系统。

专业解析：专业上通常将遵循ISO/OSI 7层协议框架（有时用TCP/IP协议框架）的设备统称为IT（Information Technology）设备或系统，如路由器、服务器、PC、各类应用软件等。如果将范围扩大到所有可连接网络的非IT设备系统：包括工业设备系统（Operation Technology，简称OT设备）如核电站；物联网设备系统（Internet of Things，简称IoT设备）如蓝牙音箱、自动驾驶汽车。这就是网络空间的范围。特点是：海量+万物。

网络安全Network Security

由防止、检测和监视计算机网络及网络可访问资源未经授权访问、滥用、修改或拒绝的策略、过程和实践组成。包括网络设备安全、网络信息安全、网络软件安全。

专业解析：网络安全通常指遵循ISO 7层协议框架（或TCP/IP）的IT设备之间如何保障机密性、完整性和可用性的问题。例如：系统被攻击，设备通信时被黑客嗅探获取密码。特点：IT设备。

信息安全

严谨定义：ISO27001定义：为保护组织有价值的信息资产机密性、完整性和可用性，而建立的组织、策略与流程。

专业解析：企业内部有价值的信息资产包括硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的机密性、完整性和可用性。例如：防止公司重要数据库服务器被破坏。可能是外部黑客，也可能是内部人员破坏。

数据安全

严谨定义：维基百科：保护数字数据免受破坏力和未经授权用户有害行为的侵害，如网络攻击或数据泄露。

专业解析：结构化数据、半结构化数据及非结构化数据在其整个生命周期中的机密性、完整性和可用性的保护。

重要性

进入21世纪，随着信息化建设和IT技术的快速发展，网络技术应用更加广泛深入，同时出现诸多网络安全问题，网络安全技术的重要性更加突出，已成为各国关注焦点，不仅关系到机构和个人用户的信息资源和资产风险，也关系到国家安全和社会稳定，已成为热门研究和人才需求的新领域。必须在法律、管理、技术、道德各方面采取切实可行措施，才能确保网络建设与应用"又好又快"地稳定发展。

网络空间已逐步发展成为继陆、海、空、天之后的第五大战略空间，是影响国家安全、社会稳定、经济发展和文化传播的核心、关键和基础。网络空间具有开放性、异构性、移动性、动态性、安全性等特性，不断演化出下一代互联网、5G移动通信网络、移动互联网、物联网等新型网络形式，以及云计算、大数据、社交网络等众多新型服务模式。

网络安全已成为世界热门研究课题之一，引起社会广泛关注。网络安全是个系统工程，已成为信息化建设和应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等方面，是网络安全的重要保障。

信息、物资、能源已成为人类社会赖以生存与发展的三大支柱和重要保障，信息技术的快速发展为人类社会带来深刻变革。随着计算机网络技术的快速发展，我国在网络化建设方面取得令人瞩目成就，电子银行、电子商务和电子政务的广泛应用，使计算机网络已深入到国家政治、经济、文化和国防建设各个领域，遍布现代信息化社会的工作和生活每个层面，"数字化经济"和全球电子交易一体化正在形成。网络安全不仅关系到国计民生，还与国家安全密切相关，涉及国家政治、军事和经济各个方面，影响国家的安全和主权。随着信息化和网络技术的广泛应用，网络安全的重要性尤为突出。因此，网络技术中最关键也最易被忽视的安全问题，正危及网络的健康发展和应用，网络安全技术及应用越来越受到世界关注。