RSA 2023创新沙盒冠军解读｜模型也是资产，AI或将成攻防焦点

2018年4月15日RSA大会开幕，而一个月后的5月25日，通用数据保护条例GDPR将要生效，数据合规大棒将要落下，所有企业对数据安全的需求非常迫切，而主打帮助客户满足数据合规的BigID就成为呼声最高的决赛选手，而BigID当年也不负众望夺冠。今年OpenAI基于大语言模型的ChatCPT和GPT-4吸引了全世界各个行业的关注，人工智能达到了前所未有的期望高度，在一些赛前的投票中，听闻主打AI攻防的HiddenLayer关注最多，此次夺冠也可谓是情理之中。

过去来看，每次随着新技术的出现，安全同行会考虑两个问题，第一是这种新技术的自身安全，第二是如何使用新技术赋能安全。通常而言，人们往往会先考虑第一个问题，以解决其带来的新风险，再利用新技术的新特性来帮助安全企业自己提升能效。其中原因是直接、新增业务机会的吸引力大于降本增效。比如云计算出现后，我们一定是先论证访问控制、入侵检测等机制如何应用于云环境，设计并实现虚拟化安全、云原生安全解决方案；然后再考虑使用云计算敏捷弹性的特性去重构现有的安全原子能力。其他如区块链、SDWAN等技术莫不如此。

当然，人工智能的攻防一直是学术上的热点，如2013年就有研究通过对抗学习可以将一张增加了噪声的大熊猫照片骗过AI，使其认为长臂猿。绿盟科技也在2022年通过“CCF-鲲鹏基金”资助了人工智能欺骗与防御的课题，有不错的成果。

尽管如此，AI攻防在产业应用主要是在互联网巨头，独立产品的商业化落地还尚在早期，所以HiddenLayer宣称之前没有一家安全公司是专注于模型安全。

而HiddenLayer的夺冠，将会带动AI自身安全的产业。随着大语言模型和通用领域的人工智能产业爆发，之后必然还有大量的初创公司基于对现有AI模型的攻防推出自己的AI安全产品，这个细分赛道将会形成。

例如，HiddenLayer将模型和训练集也定义为企业中的一类资产，既然是资产就有脆弱性，也需要进行资产管理，更需要安全防护，所以从必要性上就能打动客户。其次，它在防护框架方面提出了MLDR，复用了检测和响应的概念，这样模型的防护就能与EDR、NDR、MDR对等，甚至可以放置于XDR中，形成对企业AI资产的全生命周期防护。

做到了概念和框架上的自恰和兼容，具体战法上与传统攻防兼容是最不容易的。比如AI攻防在技术层面有成员推理、数据投毒、模型绕过、模型注入等，这些技术无论是从原理上还是从技术栈上跟传统安全攻防是不太一样的，如何能让客户理解并接受呢？幸运地是Mitre ATT&CK给出了针对机器学习的ATLAS矩阵[3]，该矩阵枚举了诸多针对AI的攻击所使用的技战术，比较规范地给出了每种技术的使用场景和应对手段。而HiddenLayer则将其能力给出了ATLAS的覆盖度，以证明自己在AI攻防领域的全面、成熟和专业程度。

HiddenLayer本次夺冠，能看出传统企业对于上AI既迫切又担心，而GPT的成功也是为HiddenLayer夺冠推了最大一把力。希望HiddenLayer能抓住GPT这波热潮，快速复制成功案例，将AI安全这个赛道走好走宽。

而对于广大的安全从业者而言，除了学习网络攻防技术之外，人工智能技术和人工智能对抗技术恐怕也要是技能栈中基础之一。

国内公司也在做相关工作，比如绿盟科技天枢实验室一直从事可信人工智能（XAI）的研究，以提高模型的鲁棒性和可解释性，以抵御对抗机器学习的攻击。2022年，“基于XAI的规则知识抽取引擎”获中国信通院2022可信AI案例和可信人工智能优秀实践案例。我们也会继续深入研究和孵化创新，如读者对此感兴趣，也可参与我们开源的可信人工智能项目XAIGen。