智能安全防护探讨
点击上方蓝字谈思实验室
获取更多汽车网络安全资讯
本文综合考虑智能技术在模型、数据、承载系统上对安全性的要求，我们用保密性、完整性、鲁棒性、隐私性来定义智能技术的安全模型，并且给出了智能安全目前面临的三大威胁：智能模型安全性问题、智能数据与隐私安全性问题，智能系统安全性问题。针对不同的安全威胁，提出了不同防御方法，包括数据投毒攻击、对抗样本攻击、数据隐私威胁。但在实际场景中， 智能系统遇到的威胁往往十分复杂，仅靠单一的防御技术无法有效抵御实际威胁。因此本文总结国内大厂采用的智能安全解决方案，然后再从这些方案中提炼出一套涵盖面更广泛的智能安全解决方案，主要包括多维对抗和智能SDL。
最后，智能应用在实际部署时面临对抗攻击、数据投毒攻击和模型窃取攻击等多种潜在威胁。为了应对实际场景中复杂的威胁以及不断变化的威胁手段， 智能安全研究人员更应从智能模型的可解释性等理论角度出发，从根本上解决智能模型所面临的安全问题。
01
引言
智能技术的崛起依托于三个关键要素：1）深度学习模型在机器学习任务中取得的突破性进展；2）日趋成熟的大数据技术带来的海量数据积累；3）开源学习框架以及计算力提高带来的软硬件基础设施发展。我们在本文中将这三个因素简称为智能模型、智能数据以及智能承载系统。在这三个要素的驱动下，智能技术已经成功应用于生物核身、自动驾驶、图像识别、语音识别等多种场景中，加速了传统行业的智能化变革。随着对这三个因素的探索持续深入，智能技术不仅在多个经典机器学习任务中取得了突破性进展，还广泛应用于真实世界中的各类场景。
为了应对智能技术的安全与隐私泄露威胁，学术界与工业界深入分析攻击原理，并根据不同的攻击原理提出一系列对应的防御技术。这些防御技术覆盖了数据收集、模型训练、模型测试以及系统部署等智能应用的生命周期，充分考虑了每个阶段可能引发的安全与隐私泄露威胁，详细分析了现有攻击方法的原理、攻击实施的过程以及产生的影响，并最终提出对应的防御技术。例如：为了防止攻击者在数据收集阶段污染训练数据并操纵模型训练参数，研究者分析了训练数据毒化对模型产生的影响，随后提出了利用聚类模型激活神经元来区分毒化和干净的数据的防御方法[9]；为了防止已经训练好的智能模型被嵌入攻击“后门”，研究者分析了模型中存在“后门”攻击的潜在特征，随后提出了模型剪枝/微调等方法来消除模型中存在的“后门”[10]；为了防止攻击者在测试阶段发起的对抗样本攻击，研究者提出使用JPEG压缩、滤波操作、图像模糊处理等方法对输入数据进行预处理，从而降低对抗性扰动带来的影响[11]。此外，为了防止智能模型在训练/测试阶段泄露模型的关键参数，研究者通过对模型结构的适当调整，降低模型过拟合度，从而减少模型泄露的参数信息。尽管上述研究为智能模型提供了有效的防御机制，但会不可避免地降低智能技术在应用中的判断准确率和执行效率。除了从技术层面防范智能安全威胁之外，越来越多的国家和地区推出了数据安全法律法规来保护用户的隐私数据。
综上所述，智能技术所面临的多种安全威胁将会对用户隐私数据造成泄露，并在实际应用场景中对用户的生命与财产带来损失的风险。为了应对智能技术所面临的安全与隐私威胁，本文系统性地总结了学术界与工业界对智能安全与隐私保护技术的相关研究成果。聚焦于智能技术中模型、数据与承载系统的安全问题。我们将首先详细介绍智能模型、数据与承载系统面临的安全威胁，然后逐一介绍针对这些威胁的防御技术，最后提出智能应用的一站式安全解决方案。
02
智能技术与安全模型
人工智能是一种通过预先设计好的理论模型模拟人类感知、学习和决策过程的技术。完整的智能技术涉及到智能模型、训练模型的数据以及运行模型的计算机系统，智能技术在应用过程中依赖于模型、数据以及承载系统的共同作用。
智能模型
模型是智能技术的核心，用于实现智能技术的预测、识别等功能，也是智能技术不同于其它计算机技术的地方。智能模型具有数据驱动、自主学习的特点，负责实现机器学习理论和对应算法，能够自动分析输入数据的规律和特征，根据训练反馈自主优化模型参数，最终实现预测输入样本的功能。智能模型通常结合数据挖掘、深度神经网络、数值优化等算法层面的技术来实现其主要功能。以手写数字分类任务为例，智能模型需要判断输入图像是0-9中的哪个数字。为了学习手写数字分类模型，研究者构建训练数据集（例如：MNIST数据集）{xi,yi},i=1,2,...,N，其中xi,yi代表某张图像与其对应的数字。模型可以选取卷积神经网络y=fθ(x)，其中θ为卷积神经网络的参数。在训练过程中，智能模型使用优化算法不断调整卷积神经网络参数，使模型在训练集上的输出预测结果尽可能接近正确的分类结果。
智能数据
数据是智能技术的核心驱动力，是智能模型取得出色性能的重要支撑。智能模型需要根据种类多样的训练数据，自动学习数据特征，对模型进行优化调整。海量的高质量数据是智能模型学习数据特征，取得数据内在联系的基本要求和重要保障。尽管智能技术所使用的算法大多在20年前就已经被提出来了，但是直到近些年来，随着互联网的成熟、大规模数据的收集和大数据处理技术的提升才得到了迅猛的发展。大规模数据是智能技术发展的重要支撑，具有以下几个特点：（1）数据体量大，智能模型主要学习知识和经验，而这些知识和经验