成熟产品IPS的创新实践和思考

成熟产品通常经过多年的研发和市场销售,销售额达到较高的水平,甚至市场占有率比较高的水平。这种状况下,如何保障产品进一步的增长的空间是成熟产品最大的挑战。

一、 成熟产品的困境

成熟产品通常经过多年的研发和市场销售,销售额达到较高的水平,甚至市场占有率比较高的水平。这种状况下,如何保障产品进一步的增长的空间是成熟产品最大的挑战。困扰成熟产品的发展的还有很多问题:产品功能逐步丰富后,即使创新出新功能如何引起用户的兴趣?成熟产品通常定位较明确,如何突破传统产品的思维框框进一步创新?内部需求有时候和外部需求有一定的矛盾,如何有机结合起来?新的技术发展如何有效引入到成熟产品的框架中?

绿盟科技的IDS/IPS产品有类似成熟产品的状况,销售额上亿,常年销售额领先,市场占有率国内名列前茅。但如何进一步发展,如何按公司战略要求,从模式/市场等方面进一步创新?下面是产品和研发团队近期的一些实践和思考。

二、IPS的APT防护

IPS通常作为APT防护产品的反例被提及。而TAC产品俱备APT攻击检测能力的产品。2015年公司推出了NGTP方案是一种综合IPS/TAC/BSA/ESPC/NTI等的综合防护方案。其中就通过信誉的方式把TAC的APT检测能力通过云端NTI传递给NIPS进行防护APT攻击。

n1

这个方案涉及部件太多,而且云端NTI需要手工确认的环节使其实时性不够。因此产品团队又发布了下面的简化方案。IPS负责文件还原,TAC作为沙箱对APT进行检测,结果通过信誉实时传递给IPS生效。

IPS-1

技术难点

这个联动方案主要流程如下。文件还原功能支持主流的HTTP/FTP/POP3/IMAP/SMTP等协议的文件还原。通过信誉模块对已经发现的恶意文件进行拦截,通过白名单对信任的来源和文件进行顾虑。通过文件缓存列表避免重复检测。通过TAC的API传输文件和信誉。经过性能调优IPS在BPS Enterprise流量模板下性能下降约10%。而TAC不用解析流量还原文件,可以投入更多的计算资源在APT检测。

IPS-2

三、IPS的云端价值

为了更好的提升产品防护能力,期望能将设备和云端进行联动。虽然国际上已经比较接受连接云端,双向联通的概念,国内用户对云端价值感受不深的问题。如何更好的满足两方面的需求,更好的展示云端的价值,是产品团队的一个关键挑战。

3.1 IPS的移动端

移动端近几年迅猛发展,随时随地方便快捷的优点,让很多在PC/服务器上完成的功能转移到手机上完成。如果用户能够随时随地监控企业威胁状况就是一个非常好的云端价值。下面是一些IPS结合手机安全管家的一些功能。用户可以方便的查看重点资产的高威胁级别的告警/日志详情,以及TOP分析。

IPS-3

3.2 IPS的威胁情报

为了用户更好的对威胁告警进行分析,提供了对外网IP的威胁情报信息展示的能力。可以关联IP的端口/banner/地理位置/相关告警等信息。

IPS-4

IPS-5

 

3.3 行业威胁对比分析

对收上来的日志,能够提供同行业的威胁状况分析。

IPS-6

3.4 技术难点

一个难点是功能如何分布。涉及到绿盟云/安全管家团队/A接口/SEER、NTI团队/IPS团队。界面在手机上,NTI页面在绿盟云上,SEER信息在内网。最后确定了告警数据存储在绿盟云存储,IPS数据分析服务器访问内网的SEER服务器和云存储数据对外提供REST接口,手机和绿盟云的NTI查询程序访问 IPS数据分析服务器获取数据。

另一个难点是获取行业信息。销售数据分析表中有行业信息和用户名,但没有设备ID,告警中可以有设备ID,许可证系统中有设备ID和客户名称,但这里的客户名称和销售数据分析表中的名称又不一致。通常是缩写,简称。比如:神州绿盟科技有限公司上海分公司和上海绿盟。自动访问ERP/PAOC等系统难度又太大,就手工获取数据,通过程序进行名字关联的方式进行了关联。产生了设备到行业的映射。从效果看只有几台没有行业信息。

还有一些细节比如用户注册过程优化,服务条款定义等。

另一个问题是数据量大的情况下的查询性能问题,后面会详细说。

3.5 IPS的反馈响应

传统上用户要反馈产品某个告警给厂商,通常需要打电话或发邮件。而且告警没有附带的网络报文,如果排查问题比较困难,成本很高。最新版本的IPS告警附带了告警相关的网络报文,用户可以自己下载分析,也可以通过按钮直接反馈给厂商。当然这个功能需要连接到云端先。

IPS-7

四、IPS的机器学习实践

机器学习算法在上个版本IPS就有实践,用来检测SQL注入和XSS等WEB攻击,这次更是引入了研究部门的最新研究成果吸星算法,实现了相关通用部件,进一步降低了WEB攻击的漏报率和误报率,提升了检测能力和性能。

IPS-8

另外IPS产品团队在和规则团队一起进行攻击检测能力提升的预研。

五、IPS的虚拟化处理能力上10G

上半年前场反馈期望咱们的虚拟IDS能有10G以上的处理能力。而2015年的虚拟IDS只有约300M的处理能力。经过虚拟化研究团队和IPS团队通力合作,顺利通过客户环境测试,性能达到10G bps的处理能力。

IPS-9

六、威胁防御能力的提升

虽然经过了多年的产品发展,但由于产品涉及部件比较多,有些团队又在异地。这种分割导致有些设计/性能上存在一些问题。

作为产品的核心能力,威胁防护能力的提升一致是产品核心关注的部分。通过突破惯性思维,打破部件割裂,在威胁防护能力上有了很大的提升。

5.6.10结项时,发现文件信誉功能开启会导致性能下降70%,基本是不可用的程度。各部件都在排查提升性能,探索性能问题。发现核心问题是文件还原必须让协议解码和规则引擎开启全长扫描,而引擎组同事认为理所当然,想文件还原必须开启,文件还原的负责同事和文件信誉的同事觉得自己这块性能只能如此。通过多方沟通,实现了还原不依赖于全长扫描实现了文件还原。文件信誉功能对性能影响下降到10%以内。

IPS-10

另一个问题关于流量的协议识别率。应用识别组的同事负责端口协议规则和应用识别规则。为了准确识别应用,尽量减少端口规则,增加应用识别规则,而且越细越好。为了性能考虑,引擎组只能缺省关闭应用识别。这样就导致有些流量不能正确识别出协议进而不能过规则。

经过多次电话会议和讨论,增加了端口协议规则和通用协议识别规则。缺省模板下新增生效的协议解码1X种,新增几十个规则检测能力,BPS level5检测新增 5X个阻断,上升2.33%。

有一个bug也是和性能有关。为了性能考虑过长请求/响应后的请求/响应可被忽略。但这样如果后续请求/响应中有威胁就不能有效发现。经过重新设计后,性能10%损失下,过长的字段选择性的检测,并继续对后续请求和响应进行解码。

IPS-11

在威胁检测能力上增强了抗DoS的能力。并增加了部分威胁检测规则。

七、IPS的国际化启动

经过和国际部的沟通,上半年启动了产品的国际化过程。上半年IPS和TAC基本完成了界面的英文化工作。

八、创新思考

首先要求团队定位高远,追求卓越。有些问题可以简单规避,甚至承认现状,也可以深入分析,彻底改进。有些功能可以简单的实现,也可以深入引领,创造价值。没有目标就不会有动力。

需要打破部件割裂,全局设计目标。产品越来越复杂,要实现一个功能或改进需要涉及多个团队,设置多个部门,甚至异地的多个部门。任何一个团队有不同的想法,产品得不到有效的支持,相关功能和改进都无法实现或无法高效的实现。关键流程上需要重点考虑和梳理。模块间上下游应该有一定的互相了解和学习。避免信息割裂。

全面搜集基础数据。要发现问题,要设置合理目标,要看改进效果,都需要基础数据。这种数据可以是关键维度的测试结果,也可以是关键流程的设计文档。

领导/团队支持非常重要。团队给力,多团队的支持,领导的重视和支持,对创新都非常重要。

如果您需要了解更多内容,可以
加入QQ群:570982169、486207500
直接询问:010-68438880-8669

Spread the word. Share this post!

Meet The Author

Leave Comment