大话态势感知1:态势感知“神经中枢”ESB企业数据总线

讲态势感知,主要来自军事领域,战场态势感知。实际上是一个体系。下图是导弹防御态势感知体系的例子,从这个图上,我们看到,为了拦截战略导弹,需要构建反导态势感知体系。

这个体系包括,轨道侦查卫星,预警飞机,远程警戒雷达,海上宙斯盾,甚至萨德。这些都是很牛逼的态势感知技术手段传感器,每个传感器都有独立处理模块,比如轨道侦查卫星经常用到大数据机器学习(NASA最强的部门就是EOS小组,地球观测小组,被黑客入侵后没法就动用这个小组,终于搞定了,这个事情作为全美的best practice最佳实践。)但是各个传感器发出的数据各有各的格式,我们互相没法说话。这哪成,于是美国搞了一个著名的C4I数据总线,于是态势感知用数据总线互相说话。(C4I系统是指指挥、控制、通讯、电脑和情报的集成,它以计算机为核心,综合运用各种信息技术,对军队和武器进行指挥与控制)。这个体系后来发展,变成C4ISR数据总线(即指挥Command、控制Control、通信 Communication、计算机computer、情报Intelligence、监视Surveillance、侦察Reconnaissance。),于是,我们看到各个传感器在数据总线统筹下,共同决策,智能判定导弹落点,给出最佳的拦截点和应对手段(卫星激光,海基的宙斯盾反导,萨德,爱国者末端反导)。

态势感知最难的事情就是整合

实际上态势感知最难的活是什么?是数据总线的关键数据融合。我们经常听说飞机的态势感知怎么怎么样,从一堆的落后仪表,到现在的F35,歼20各种可以交互信息化大屏,飞行员头盔瞄准具,“光电跟踪系统EOTS”,总之飞机最核心的理念就是把飞机相控阵雷达,各种速度传感器,警戒雷达,GPS数据最直观的显示出来,飞机借助先机的态势感知能力,感知当前的状态,选择最佳的攻击防御手段。我们也听说F35因为软件问题,现在前200架没有战斗力。因为各种先进传感器没有整合完成,也就是没有完整的态势感知能力。预计具有全面战斗能力的第一个版本是Block 3F版本。该版本尚未完成,预计2018年才开始实战。五角大楼的测试办事处一再表示,任何飞行2B型F-35型飞机的飞行员,如果发现自己处于战斗状态,将“需要避免参与威胁,并需要其他友邻部队来救兵”。(F35迎来最大丑闻,花费四百亿近200架战机全部等着报废http://www.sohu.com/a/198740513_701549)。

伊尔76座舱

F35座舱

传说的歼20座舱

更奇葩的是欧洲双风,大名鼎鼎的台风战斗机,集成了英国的罗罗发动机,德国制造,总之各种牛逼,各种先进,但是在瑞士空军选型测试一下,吓了一跳,2个屏幕显示不同的目标数据,真假不分非常考究飞行员的脑子。结果综合性能还不如法国的阵风,虽然阵风号称样样落后,最差的发动机。(来源《台风阵风鹰狮欧洲三头鸭子谁最牛-官方评测,阵风横扫,欧洲无敌(http://www.sohu.com/a/211278746_99973322

 

整合信息的关键在于后台体系建设

这可能颠覆我们的认知,以前陆海空3军指挥体系都不兼容,3军联合演习,空军飞的快,海军跑的慢,结果空军到了地点,找不到船,油又少,只能飞走了。演习失败了。美军搞了总参谋部来统一协调,搞了几大战区司令部,习大大上来搞了战区制,战区内统一指挥。仅仅在建设方面才陆海空自己建设。因此,打破了部门割裂,战斗力大增,而作为中国版本的C4ISR也是战区指挥-战场态势感知的核心。(题外话,中国这几年军事建设的重点在“补空白,强体系”,通过大量的实战攻防演练来锻炼队伍,寻找差距。实际上这个在网络空间安全也适用,美国总统特朗普2017年7月18日宣布美军网络司令部升级,以提升美国网络行动和国防水平。网络司令部升级后将成为美军第十个联合作战司令部,地位与美国中央司令部等主要作战司令部持平。)

整合信息的技术关键在于ESB数据总线

说了半天的废话,态势感知核心是C4ISR总线,当然软件中我们经常称之为ESB数据总线,实际上很多年前我们就在研究,研究元数据管理与CWM标准(运营商搞得比较早,主要是处理不同厂家语音数据交互和监控),技术这几年发展,发现大数据是最好的ESB技术。其中最重要的就是大数据流式处理和大数据仓库。传统ESB通过上下层分离技术。将传感器传回的日志统一存储,上层可以开发各种app。比如在绿盟的架构中,就是spark作为核心,上层通过SPARK STREAMING技术流式处理,将各种传感器传回的日志范式化,统一存储处理(符合一般意义上数据层融合)。在数据总线中,涉及元数据的部分,绿盟定义一个良好的规范。从而有效的处理来自各种日志,包括流量日志,攻击日志,样本日志,漏洞日志。上层开发的态势感知,追踪溯源,情报互联等APP模块。

为了更好做数据融合,绿盟ESB利用分布式流式处理技术,引入了态势感知理解引擎态势感知推理决策引擎。态势感知理解引擎主要作用是做数据融合。各种先进传感器的各种日志,经过理解后变成统一的元事件,完成特征层融合。(特征层融合属于中间层次的融合,它先对来自传感器的原始信息进行特征提取(特征可以是目标的边缘、方向、速度等),然后对特征信息进行综合分析和处理。特征层融合的优点在于实现了可观的信息压缩,有利于实时处理,并且由于所提取的特征直接与决策分析有关,因而融合结果能最大限度的给出决策分析所需要的特征信息。特征层融合一般采用分布式或集中式的融合体系。特征层融合可分为两大类:一类是目标状态融合;另一类是目标特性融合。引自百度百科)。

态势感知理解引擎作为一个核心引擎,作为态势感知的ESB数据总线的核心,他可以从情报平台下载情报,又可以处理多源日志,形成归一化的可信安全事件。当然最重要他提供了态势感知最核心能力之一的Ad-Hoc能力(后面撰文)。

图:特征层数据融合结果,从很多日志中理解成为扫描事件

 

有很多人说态势感知、机器学习、UEBA多么牛逼,实际上机器学习、UEBA仅仅是态势感知的一个技术,一个先进引擎,而态势感知的难点在于他的神经网络,他的数据总线,简单来说,攻击链技术就是近几年最流行的网络空间态势感知特征层融合技术,美国基于攻击链技术构建了威胁情报体系,这样,CIA,FBI各个单位传来的安全威胁事件,就能在同一个语言说话(后续专门讲情报)。美国著名的mitre公司,就是一个专门搞标准的公司。其中最重要的就是情报的数据融合。美国反恐情报全球做的最好。

 

以ESB数据总线形成神经中枢 直联决策大脑

最后收一下,我们从2009年折腾态势感知,折腾了8年,不断整合积累并不断调整,目前通过理解引擎实现了DDOS事件,恶言代码僵木蠕事件,网络入侵事件,系统漏洞,系统配置等事件等特征层融合。这些特征层融合的原始日志来自不同的设备,比如远程登录事件来自NIDS,或者服务器日志。但是它们经过理解后形成共同的语言,送入ESB中,供上层分析使用,如送入推理决策引擎决策。

总结:

1、构建在多源传感器的日志的接收、存储、理解来搭建的态势感知ESB企业数据总线,是态势感知的“神经中枢”。

2、数据融合,尤其是特征层融合是态势感知的ESB最核心功能。

3、分布式消息队列,大数据分布式存储,分布式流式处理,高性能解析引擎,构建了态势感知ESB企业数据总线的主要技术手段。



发表评论