智能安全运营平台的进阶之路

2014年,绿盟科技内部启动P2SO;2015年,绿盟科技发布智慧安全2.0战略。这些战略的核心,都是将绿盟科技过去以硬件产品为主导的方向升级为给客户提供完整的安全解决方案及安全运营,而平台产品作为安全运营的抓手、解决方案的核心,在战略执行过程中的地位是举足轻重的。

初步尝试——BSA

早在2014年,绿盟科技P2SO战略发布之前,产品线就在大数据能力方向做了研发投入和技术布局。在数据接入方面,使用过Logstash、Flume、Heka、StreamSet等组件;在数据存储方面,使用过数据仓库、MPP、搜索引擎等类型的组件。产品技术团队构建了绿盟科技的大数据平台,并且应用到内部作业系统。

随着公司P2SO战略的推进,以及客户市场对整体的安全解决方案和运营服务持续增长的需求,安全管理平台产品成为客户提升安全能力水平的重要抓手。由此,2015年初,绿盟科技推出了面向企业安全管理的产品:BSA——绿盟大数据安全分析平台。

第一代安全大数据平台产品的核心价值,是把大数据技术引入网络安全管理的领域,然而当时国内的主流管理产品还停留在使用传统技术处理海量的安全告警日志,效果差强人意。国内外领先的创新厂家,纷纷开展新型技术应用的开发。在充分调研后,我们认为此阶段的大数据平台产品的产品化目标是提供足够的数据接入、处理、存储及分析支撑,提供标准开发接口,并在上层开放安全业务,由各安全厂商、客户基于大数据平台进行开发APP,并进行APP售卖,形成一个开放的生态环境。这是个非常超前的产业创新尝试,确定“BSA+APP”模式后,技术组件上决定采用“Hadoop+kafka+Spark+ELK(ES+Logstash+Kibana)”体系。用Spark代替Storm,主要是因为Spark具备流计算和批处理的能力,非常适合安全管理的时效性要求。同时也保留了ELK,通过重用“Kibana+ES”灵活的搜索条件生成自定义可视化图表的能力,非常适合有DIY偏好的管理员。

BSA架构图

第一代BSA可以说是一种技术流导向的设计思路,基于Hadoop跟Spark提供平台底层存储及计算的横向扩展能力,“ES+Kibana”的“搜索与报表”功能,提供了灵活自定义的仪表盘及可视化图表的能力;通过“告警”模块,自定义告警规则,提供了从日志生成告警事件的能力。告警模块,应该是平台最早的规则引擎。通过灵活的APP管理框架及封装的对外API接口,提供了上层业务应用开发的能力。

初代BSA首页截图

不难看出,这是把ToC互联网产品思维转向ToB企业安全产品市场的一个创新。从结果来看,这并不是一次非常成功的尝试,企业用户的使用习惯,APP的轻量级业务定义很难满足国内产品售卖的市场需求。构建APP生态,基于平台进行二次开发,无疑有很大的难度,市场情况也确实不尽人意。无论如何,第一代大数据平台的实践,为解决海量的日志管理,以及流式实时告警等客户迫切需要解决的安全管理问题,提供了新的技术手段。当时,行业内广为诟病的传统数据库技术支撑的管理平台产品看到了新生。

业务落地——TSA、ESP

安全管理的问题千万重,有用且好用的产品必须找到有效的场景。综合的网络安全态势感知,日常的威胁事件处置都是客户需求度非常高的场景。

基于绿盟科技完整的产品线,尤其是威胁感知,漏洞发现,异常流量,高级攻击检测等产品能力。2015年年底,绿盟科技推出了基于BSA大数据平台的态势感知方案——TSA,该解决方案覆盖了网络入侵态势、异常流量态势、僵木蠕态势、网站安全态势、系统漏洞态势等五大态势的感知能力。基于攻击链,TSA实现了海量日志到精准事件的态势感知分析能力,绿盟安全态势感知面向的主要客户群是监管、运营商等大型网络下的安全监控业务。在多个重大会展或国家社会活动期间,态势感知平台为客户保障网络安全发挥了巨大的作用。

绿盟安全态势感知平台架构

绿盟安全态势感知平台首页

在企业内部,威胁事件分析、资产以及漏洞处理无疑是日常运营的重要工作。2015年年底,绿盟科技发布了绿盟企业安全平台——ESP,ESP以大数据框架为基础,结合威胁情报系统,通过攻防场景模型的大数据分析及可视化展示等手段,协助企业建立和完善了安全态势全面监控、安全威胁实时预警、安全事故紧急响应的能力。ESP通过独有的自适应体系架构,高效地结合情境分析,协助安全专家快速发现和分析安全问题,并能通过运维手段实现全生命周期的安全闭环处理流程。

绿盟企业安全平台架构

绿盟企业安全平台首页

两大业务平台的落地,解决了高频的部分管理问题,丰富了绿盟安全管理平台的解决方案,其业务也迅速开展,市场反响不错,获得了客户的好评。

百花齐放——CIIP、TAM、TVM、TAT、ESP–H

随着客户安全管理的场景化需求落地,发展到2019年绿盟关键信息基础设施态势感知平台(CIIP)上市的这期间,产品线不断完善产品体系,陆续发布了多种平台型产品,针对不同的细分行业、细分领域,都有了对应的覆盖。

这其中有通过接入镜像流量,进行深度包检测,并对流量日志及告警日志进行留存及分析,针对高级威胁、重保期间进行深度威胁分析及溯源的全流量威胁分析系统——TAM;有通过对接漏洞扫描探针,实现脆弱性数据集中收集、集中分析及管理,针对企业及监管单位进行脆弱性集中监控的绿盟威胁与漏洞管理平台——TVM;有对接异常流量检测探针,实现DDoS攻击检测、异常流量分析及溯源,针对运营商大网进行C&C主机溯源的绿盟DDoS溯源分析系统——TAT;有针对监管单位,实现针对被监管单位关键信息基础设施进行态势感知,以及预警通报的关键信息态势感知平台——CIIP;有针对中小企业,辅助高层安全决策,帮助中层管理落地,支持基层日常运营的轻量级安全态势感知平台——ESP-H。

关键信息态势感知平台

在这个过程中,绿盟科技的安全分析能力及大数据能力也有了较快的发展,开发了支持大数据平台关联分析的规则引擎。规则引擎的发布使平台从单一日志的分析,走向了多维日志的关联分析。规则数量和覆盖的场景都取得了长足进步,既支持内置规则,也可以通过自定义的方式增加规则。能力的后端,组建了专职的平台规则建模团队。从此,平台规则的能力化进入了可运营阶段,在一次次客户应急保障活动中,体系化运营支撑快速地帮助客户解决了问题,得到了客户的认可。

基于大数据与情报的安全分析

随着大数据使用的深入,机器学习和AI技术越来越受重视。随着攻击溯源业务的发布,诺亚引擎作为开放式、可配置的安全类机器学习引擎在2017年应运而生。客户或内部的研究成果可以快速地在绿盟大数据平台落地实现,降低了安全分析人员进行研究机器学习的门槛,提升了绿盟科技在安全大数据分析领域的竞争力,缩短了机器学习和数据分析类研究性课题产品化的时间周期,节约了项目成本。从客户运营实践来看,基于诺亚引擎的数据算法为解决Netflow、Webshell和DNS日志指示的安全问题提供了有力的技术保障。

异常行为分析场景

随着产品的不断研发,业务的不断开展,绿盟科技平台的产品在各行各业的客户那开花结果。在这个过程中,细分产品越来越多,一些问题也逐渐浮现出来,给我们的团队效率、产品版本管理带来了一些困扰。

内敛,归一——ISOP

2018年年底,在各行业、各领域的平台产品积累了一定的经验后,为更好地适应客户统一运营的需求落地,需要整合成松耦合、模块化的大平台产品,ISOP应运而生。ISOP,是遵循了绿盟科技智慧安全2.0理念,以运营为中心,智能化、全场景的统一安全管理平台。ISOP以大数据框架为基础,结合威胁情报系统,通过对攻防场景的机器学习、威胁建模、场景关联分析、异常行为分析、安全编排自动化以及可视化呈现等技术,帮助客户建立和完善了安全态势全面监控、安全威胁实时预警、资产及漏洞全生命周期管理、安全事故紧急响应的能力。通过独有的自适应的体系架构,为安全运营提供了可靠的信息数据支撑,协助客户快速发现和分析安全问题,并通过运维手段实现安全闭环管理。

ISOP智能安全运营平台首页

在这个过程中,我们对历史平台能力及架构也进行了有机融合,实现了平台统一、模块化、组件化。ISOP技术架构的特点是分层组件化,强调系统的可扩展性,注重性能优化。技术架构上保留原有的“BSA+APP”(或组件)模式,组件可以单独升级,启动停止,对外视图体现,以统一的综合平台形式提供,整体分为基础平台层、能力引擎层、业务应用层的三层打包。分层的原则是越底层的通用性越强,越上层的业务性越强,设计理念上符合Gartner的CARTA安全模型,具备很强的开放性和完整性。

智能安全运营平台架构

2019年,随着ISOP的发布,分析引擎做了升级更新,发布谛听引擎。谛听引擎融合国标、行标的需求输入,对到平台的日志进行了分类,并实现了按接入设备进行分类,支持融合绿盟科技的设备日志和第三方厂商日志。其次,对平台数据进行了分层,定义了Log、Event、Alarm、Incident等四个层次。每个层次都可以根据规则和场景进行数据量级的降低和数据价值的提升。在不同层次中可以利用攻击链模型和ATT&CK模型进行Hunting和分析,做到了一套体系、一套规则、一套流程,解决了安全检测的全部问题。

智能安全运营平台分析流程

在分析及响应体系上,我们也开始尝试用“ATT&CK+SOAR”的方式,将分析过程及分析结果,映射到ATT&CK体系下。ATT&CK将攻击者的行为更有效地映射到防御中,对每种攻击技术都给出了非常详细的描述,有部分甚至还存在详细的代码片段。当攻击者利用这些攻击技术时,根据其留下的数据源信息,可以制定各种机器可读的检测或处置剧本,包括定义剧本的输入、输出接口以及内部执行逻辑。对于需要人工研判的情形,可适当留出合适的参数接口,基于大量的攻击技术,可构建原子剧本集合。这样就能将“ATT&CK+SOAR”进行有效结合,既可以快速评估攻击危害及防御能力,又能够有效地进行自动化响应。

ATT&CK+SOAR的分析及响应理念

最后,我们将运营体系与产品体系进行结合,形成了以ISOP平台为核心的安全运营体系,发布MDR服务,提供以资产为基础,实现威胁、脆弱性管理闭环,并通过服务工具提升检测及防护效果一体化的安全运营解决方案。

安全运营服务体系架构

为践行绿盟科技P2SO战略,支撑因客户数字化变革带来的网络安全挑战,以及体系化的安全运营服务需求,ISOP还会继续在自动化、智能化之路前行,担当AISecOps的先锋。

联合作者:杨传安、陈景妹、潘登

Spread the word. Share this post!

Meet The Author

Leave Comment