【技术前沿】杂谈:数据分析与威胁防护的落地应用

随着机器学习技术的成熟,数据分析已不仅仅基于统计分析,机器学习也成为增强安全的新宠。将数据分析技术引入到纵深防御体系已成为趋势,它在每一层防护中加入数据分析模块,这样,后一层都能为前一层提供不同层面的安全保障,实现真正纵深防御的效果。

随着物联网近几年的落地实现,人们越来越相信万物均可互联,互联后就可以通过编程相互之间进行操作。万物互联将增强网络与系统的互通性,同时也不可避免增大了攻击面。因此,黑客就有更多的可乘之机。

纵深防御是现有的安全技术解决方案之一,它指的是网络安全不仅依赖于一种安全机制,需要尽可能的利用网络资源,使用多种网络安全技术,建立多层次的防御体系。当一种安全机制失效后,网络系统不会完全失去保护。传统手段依赖于签名特征的静态技术,只对已知攻击有效且检测规则高度类似,难以保证防御方法的相互独立性,效果差强人意。即使在多个层次全都部署防护,如果检测手段同质性严重,显然达不到为上一层提供更多维度的检测能力。

纵深防御应是使用不同检测方法在不同的采集点针对不同的数据的防御组合拳

新一代检测技术则是针对已知一类攻击,比如使用数据分析引擎来发掘不依赖于特征签名的攻击,代表产品有用户和实体行为分析UEBA、网络流量分析NTA等。单单使用传统防护手段进行纵深防御是个误区,它只是理解了纵深防御概念的皮毛,因为它们的检测规则高度类似,所以会出现一处免杀,处处免杀的情况。将数据分析技术引入到纵深防御体系已成为趋势,它在每一层防护中加入数据分析模块,这样,后一层都能为前一层提供不同层面的安全保障,实现真正纵深防御的效果。具体可以在端点、物联网设备、子网传感器、边界网关、以及大数据平台上,同时运行机器学习,多层纵深防御数据分析手段联动配合来实现纵深防御。由于不同层的数据分析可以设定不同的分析规则、策略以及响应的模型,所以检测规则不会出现高度类似的问题,也就很好的避免了一处免杀、处处免杀的结果。

SOC也是一种从安全的角度去管理整个网络和系统的概念,它是纵深防御体系中的一种有效的安全管理平台,但是现有的SOC存在一些问题,比如缺乏安全攻防对抗、智能分析、大数据处理、有效相应协同、专业人员运营的能力。

 

图1. 现有SOC中存在的问题

基于以上存在的问题,智能化、多维度化、情报驱动、大数据化、协同化、可视化、交互化的理念将会融入到新一代ISOC中。

同时,也要求SOC的架构实现风险可视化、防御主动化、运行自动化。在进行安全防御的同时,SOC将为安全设备提供安全智能引擎和情报数据,采用深度防御策略,自动化协同安全能力,并逐步实现安全策略的可视化。具体来说,在实现安全检测与持续监控时,将会:

采用大数据平台架构;

增加网络流量分析(NTA);

 DNS访问数据分析(pDNS);

 用户与实体行为分析(UEBA);

 终端检测和响应(EDR);

威胁情报平台(TIP)技术和产品;

人机交互分析工具。

新一代SOC应具备快速响应能力,逐步做到与安全设备联动、自动化分发安全策略,实现自动响应。但是其实在实现这些功能时也存在很多的难点和问题,包括产品是否需要定制?是否需要为甲方的系统定制一套防护产品?客户关注的安全问题和业务集中在哪些方面?大数据平台应该包括哪些模块?产品的运营团队是需要外包给其他公司还是客户自己就可以拿下?数据根据需求采集时并没有一个标准,完全依靠乙方厂商自己确定,所以一个数据源的数据可能无法提供给其他的数据分析平台进行使用,是否需要统一的数据格式?

现阶段,很多的机构会积累自己的威胁情报,然而威胁情报本质上是一种时效性较强的高价值威胁线索数据商品,情报跨厂商、部门分发本身就是会降低情报的稀缺性和商品价值,所以分享意愿不够强烈和共赢模式不确定也会导致情报的不完整。现阶段的情报交换或共享更多是针对不同维度的威胁数据。情报交换过程中对情报价值的定位、情报可持续性的判定也很难有事实上的依据。共享机制的缺乏也是一个很大的问题。为了进一步改善SOC的性能并提高防护能力,以上的这些问题还都有待于解决。

很多的现有的安全技术解决方案比如ISOC已经将数据分析纳入了关键技术,其中UEBA(User&Entity Behavior Analytics)不可或缺。UEBA主要可以监控内网安全,其中被控主机、内鬼以及被疏忽的信息泄露都有可能给公司带来损失。被控主机可能是外部恶意主机通过钓鱼邮件等方式在内网主机中植入木马,从而获取内网主机的系统漏洞,进一步进行提权并通过获得的系统漏洞控制内网主机,导致内网主机失陷,成为受控主机。内鬼是防不胜防的,可以通过监控内网的异常行为来发现一部分内鬼的行为。而被疏忽的信息泄露指的是将公司机密级信息上传到公网等行为,造成公司的损失等行为。这三种情况都会给公司资产造成威胁。

随着机器学习技术的成熟,数据分析已不仅仅基于统计分析,机器学习也成为增强安全的新宠。Niara UEBA (https://www.niara.com/)将用户定义为账号,实体划分为组群(部门、职位、特权)、资产(工作站、物联网、子网)、信息(文件、数据、应用程序)等三部分。

图2. 用户、实体范围

通过关联用户的所有信息,包括:名字、密码、职位、部门、远程访问等信息形成用户标签,通过他的用户标签以及他的访问行为与其对应的被分配的特权进行匹配,来检测其是否有越权行为。

图3. 实体鉴别与风险预警

由于有了特权信息,不同的特权组(设备、用户、子组)就可以形成特权图,从而当一个特权组预警时,可以通知到特权组里面的所有成员。

图4. 特权组预警

当针对数据源(AD(Active Directory)域日志、VPN日志等)进行行为抽取时,可以对多种数据源的信息进行关联和聚合,通过时间对其进行可视化,最后进行检测,在可视化的时候呈现最有用的信息给用户,更直观的帮助用户定位问题。在系统实际用起来之后就需要实时的更新系统,因为它需要持续的学习能力,这样才能抵御最新的威胁。在数据分析时经常会遇到一些灰色地带,这一部分的异常无法确定一定是一个威胁,此时就需要用户的反馈,通过用户的反馈来进一步确认。当完成用户和实体行为分析后,需要对数据进行可视化,这就需要思考三个问题:

显示什么?

怎么显示?

以及如何应对?

图5.UEBA的页面显示

这是针对内网安全的检测系统,所以当然是将安全性显示出来,也就是异常->威胁;在显示威胁的时候,用户当然想要知道为什么这是一个威胁,有什么理论依据呢?所以需要现象->理论;有了威胁,用户下一步一定很着急,那就告诉他该怎么办吧:知识->执行。

总结一下,如下图所示:首先,该系统首先需要对内网的资产进行管理(打开、关闭、作业),在出现威胁的时候通过资产内容、对资产操作行为内容以及对资产操作的关系内容进行分析,进一步验证它是威胁的结论,在得到结论之后需要通过用户的反馈,比如邮件等方式进行进一步的验证,之后对该威胁进行取证,从而拿到切实的证据,最后执行防护措施,比如隔离,来达到安全防护的目的。

图6. UEBA的防护流程

将大数据分析、威胁情报与安全防护结合并联动起来已成为趋势,越来越多的安全检测产品均用到了机器学习的东西,但是究竟是不是有他们声称的那么准确呢?很多产品声称的准确度其实是来自于产品开发时所使用的数据,当该产品部署在不同的客户环境中时就会因为使用环境以及数据集的差异而导致检测效果差强人意,同时数据分析产品的更新迭代机制和用户使用数据的收集也需要深入思考。把机器学习的威胁检测成果在工业界用起来并达到令人满意的效果还有一段很长的路要走。且行且珍惜。

 

关于我们

绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一,与清华大学进行博士后联合培养,科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向,从实践出发,结合公司资源和先进技术,实现概念级的原型系统,进而交付产品线孵化产品并创造巨大的经济价值。

 

 

Spread the word. Share this post!

Meet The Author

Leave Comment