基于Flow的攻击检测是DDoS清洗服务中非常重要的一环,而随着互联网的发展,网络承载的信息越来越多,流量越来越大,单台Flow分析设备(NTA)的能力逐渐满足不了DDoS攻击检测任务。本文分析了NTA设备目前遇到的诸多挑战,描述了高性能Flow负载均衡设备的工作原理及其应用场景。
一、引言
NetFlow/SFlow是网络流量统计的标准协议,与DPI技术相比,基于Flow的检测技术处理速度更快、配置部署更方便快捷、维护成本更低,因此被广泛应用在网络流量分析、DDoS攻击检测、攻击溯源等多个方向。
Flow名称 | 代表厂商 | 主要版本 | 备注 |
NetFlow | Cisco | V5、V9 | 应用最广 |
sFlow | Foundry、HP、Alcatel、NEC、Extreme等 | V4、V5 | 实时性较强,具备突出的第二~七层信息描述能力 |
NetStream | 华为 | V5、V8、V9 | 与NetFlow相同 |
IPFIX | IETF标准规范 | RFC 3917 | 以NetFlow V9为蓝本
相当于Netflow V10 |
表一 常用的几种Flow协议
随着互联网的快速发展和移动互联网的普及,网络流量的种类和数量都在发生着变化,对网络流量分析设备也提出了很多新的要求。下面我们分析下NTA流量分析设备在几种应用场景下可能存在的挑战,再介绍Flow负载均衡设备的原理和主要技术要点,给出以负载均衡方式解决当前问题的方案。
二、Flow流量分析设备的挑战
2.1 对处理性能的挑战
现在骨干网络带宽动辄达到几十T,且每年以50%以上速度进行增长,其中一台核心路由器的输出Flow就可达到300w Flow/s甚至更高,传统单台NTA设备遇到性能挑战,需要采用集群方式组网,配置比较复杂。
2.2 对部署的挑战
某些网络环境下,特别是运营商环境,需要从不同网络层级对业务流量进行分析,如下图所示,在骨干网需要采集全网流量进行分析,而各个接入层分析本网络内的流量。从流量大小来看,一台NTA应对较为困难,部署多台NTA时也需要在各层级网络设备上分别配置,以输出到不同的NTA,网络的变化也会给部署带来很多不便的麻烦。
图1 多层级网络流量分析
2.3 对复制转发的挑战
一些第三方产品也需要对Flow进行分析,例如绿盟科技溯源系统通过NetFlow做攻击溯源,通管局的合规要求等。因此NTA除了自身的流量分析和攻击检测以外,还承担着Flow的复制和转发任务,流量的增大和转发对象增多都会导致NTA分析检测能力下降。
图2 Flow转发场景
2.4 对可靠性方案的挑战
客户的流量是至关重要的,流量分析设备在工作过程中的异常会导致信息丢失,期间发生的攻击也会被漏检测,目前的NTA HA主备方案解决的就是这类问题,如图3所示。此方案的缺点是备份设备始终不承担任何业务,资源存在一定程度的浪费,有些预算紧缺的客户可能无法接受。
图3 NTA主备倒换示意图
三、Flow负载均衡设备
为解决上述市场需求,绿盟科技新研发了Flow负载均衡设备(Flow Load Balancer,以下简称FLB),与其他通用的负载均衡设备不同的是,该设备专门针对Flow数据进行负载均衡,包括NetFlow v5/v9、NetStream v5、SFlow v4/v5、IPFIX(以下以xFlow统称所有Flow类型)。其支持二三层接入方式,提供基于路由器、基于业务域和基于目的IP多个维度的负载均衡模式。
图4 Flow负载均衡典型拓扑
典型拓扑如上图,FLB设备接受来自路由器输出的xFlow报文,根据配置的策略以负载均衡或复制方式转发给不同的Flow采集器,支持同时对多个采集器集群进行负载均衡和复制转发。
3.1 路由转发方式
FLB转发的目的设备可以与FLB在一个二层网络,也可以是路由可达的三层网络。
图6 三层路由转发方式
图7 二层转发方式
- 多维度的负载均衡算法
如下图,以设备组的形式管理各个路由器和Flow采集器,在路由器组和采集器组之间建立负载均衡映射关系,且可以同时配置多个负载均衡映射对象。
图8 负载均衡映射关系
主要支持四种负载均衡策略算法:
- 基于目的IP均衡的策略
将相同目的IP的Flow数据转发到同一台采集器。
- 基于业务域均衡的策略
按照目的IP按照所属业务域分组,确保相同业务域的Flow数据转发到同一台采集器。
- 基于路由器自动均衡的策略
根据Flow报文的源ip(即路由器地址)决定转发给哪个采集器,确保相同路由器的Flow数据转发到同一台采集器。系统根据采集器的状态自动生成路由器和采集器的对应关系,当采集器掉线时,其映射的路由器自动负载均衡到其他活跃的采集器上。如下图,router1的Flow数据转发给采集器1,router2转发给采集器2,router3转发给采集器3,router4转发给采集器1。当发现采集器2掉线时,router2会自动映射到采集器3上。
图10 采集器掉线后的重映射
- 基于路由器手动均衡的策略
与基于路由器自动均衡的方式一样,不同的是路由器和采集器的对应关系由人工配置,且即使采集器掉线,映射关系也不发生变化。
3.3 高可靠性设计
FLB设备位于Flow网络的关键路径,对可靠性的要求非常高。
FLB提供了HA主备功能。当主FLB设备检测到自身关键业务进程异常或恢复时,通过VRRP协议交互通知对端进行主备切换,切换时间在1-2秒范围内,切换后业务照常运行,整个过程对用户几乎无感知。
除此之外,FLB还会实时监控采集设备的状态,支持使用ping和webapi方式探测采集设备是否存活以及功能是否正常,以此保证采集器异常时能够将Flow数据快速切换到其他正常的采集设备上。
四、结束语
结合本文提出的Flow负载均衡设备,能解决大部分大流量和复杂环境下的
NTA部署问题,使NTA能适用于更多的解决方案场景,充分发挥其市场价值。另外值得一提的是,绿盟科技的FLB设备具备更高的处理性能和更全面的负载均衡策略。