【RSA2018】利用人工智能和机器学习优化威胁检测和应急响应

阅读： 2,635

从这几天RSA关于人工智能AI 的报告分享来看，AI技术已经从之前的理论普及阶段转变成实际场景应用阶段。不少厂商的产品开始享受AI技术所带来的红利，利用AI来提高其产品的威胁检测和决策运维能力，不管是创新沙盒(Innovation SandBox) Top10公司，还是逐渐正式亮相的各大厂商展台，AI已是标配。这篇文章介绍了如何利用人工智能和机器学习优化威胁检测和应急响应，并分享了RSA大会上的AI实际安全场景应用产品，也介绍了绿盟科技利用AI技术的实际案例-全流量威胁分析平台TAM。

Vectra -利用AI和网络可见性提高检测和响应效率

RSA大会中，来自Vectra networks的安全分析的主管Chris Morales做了《HELP ME NETWORK VISIBILITY AND AI; YOU’RE OUR ONLY HOPE》的主题演讲，主要内容是利用网络可见性和AI方法更高效的发现各种威胁和攻击行为，以减少分析师工作量和缩短威胁响应时间。

网络可见性是可操作情报的关键

Morales用Equifax网络威胁中心举例，并揭示Equifax对于威胁影响如此之慢的原因：

Security effectiveness compromised by manual processes and the departure of key personnel（安全有效性受到人工流程和关键人员离职的影响）。

利用网络可见性和机器学习解决响应慢的方法。网络可见性不仅仅是Perimeter Visibility（外围可见性）、Core Visibility（核心可见性）、Cloud Visibility（云可见性）、Device Visibility（设备可见性）、Application Visibility（应用可见性）。

“Network Visibility is the enabler of actionable intelligence（网络可见性是可操作情报的关键）。”

AI/ML/DL/NN的关系

AI：人工智能
ML：机器学习
DL（深度学习）
NN（神经网络）

实际应用场景：五大类攻击行为

EQUIFAX将机器学习和网络可见性应用于真实的网络安全领域来改进遇到的问题。

这里罗列了五大类攻击者行为，包括botnet变现、C&C、侦查、横向移动、数据外泄，每个大类包含了若干的子类别。

报告中挑选攻击者的三种行为检测场景做了举例说明：External Remote Access（外部远程访问）、Suspicious Admin（可疑管理员）、Data Smuggler（数据窃取）。

1. C&C-External Remote Access（外部远程访问）

攻击者想访问被攻击网络的内部获得对资产的控制权限，而防火墙阻止大多数入站连接尝试，因此只能靠内部的失陷资产自发的对外发起连接。

该场景利用网络的时间序列数据，利用深度学习模型，发现人为的外部控制行为。

2. 横移-Suspicious Admin （可疑管理员）

当攻击者一旦获取相关权限就喜欢利用网络管理协议（SSH, RDP and VNC等）在网络环境中做横向移动。

检测思路：

Data Source: Admin protocol connection graph over time 数据源：随时间变化的管理协议连接图
Unsupervised learning model learns admins, servers, realms 无监督学习模式学习管理员，服务器，领域
Discovers attacker or malicious insider use of admin capabilities 发现攻击者或拥有管理权限的恶意内部人员

3. Exfiltrate – Data Smuggler （数据窃取）

攻击者将从网络深处收集数据到中转区域，然后将数据提取到网络之外。

检测思路：

Time series data 时间序列数据
Correlation model 相关模型
Discovers exfiltration events and affected systems 发现渗出事件和受影响的系统

只有对网络的完全可视化才能更好的找到威胁，传统的分析手段很容易将高危的威胁淹没在噪音数据中，造成误报。而利用机器学习方法能够显著降低漏报的可能性，更重要的是能加速寻找威胁和事件响应的速度，提升有效的响应效率。RSAC 2018有不少同行提到AI技术对于快速应急响应的重要性，可以预见在不就的将来，人工应急的比重会逐渐下降，基于AI技术的快速响应将大范围的代替人工应急。

Vectra Cognito：基于AI的威胁检测和响应平台

Vectra成立于2011年1月,是一家安全技术提供商，主要应用人工智能实时检测和应对网络攻击，为客户提供实时网络安全防护管理。其主打产品Cognito是使用AI技术对网络攻击者进行追踪的威胁检测和响应平台。借助Cognito，安全分析师可以将攻击分析和追踪周期从几天活或几周缩短到几分钟，将威胁调查工作量减少了32倍。

技术要点

Vectra主打产品Cognito主要有四大部分组成：

各种元数据接入

Cognito不使用DPI技术，而是通过从网络数据包中提取和分析元数据，提供对各种网络实体（云、数据中心、服务器、PC，打印机，IoT设备）的实时威胁可视性，实现“without pryin”的保护。

识别攻击者的行为

Cognito对接入的丰富的元数据，利用机器学习、行为分析等方式，来发现未知的攻击者及其隐藏的恶意行为，如远程访问工具，隐藏隧道，后门，侦察工具，凭证滥用和泄露；Cognito还会监视和检测授权用户对关键资产的可疑访问，以及与使用云存储，USB存储和其他隐藏方法将数据转移的违规行为。

自动化分析

Cognito利用威胁确定性指数（The Threat Certainty Index）将大量的威胁事件与其历史上下文做关联整合，根据整合得到的维度对相关的资产做风险评价，最终显示给客户的是最重要的事情Top N，而不会产生更多事件进行分析。

响应驱动

Cognito可与endpoint、nac(network access control)、firewall解决方案配合使用，在发生攻击时快速控制和缓解攻击，并且为威胁调查提供了明确的起点，从而提高了SIEM和分析取证工具的效率。

Micro Focus – 网络安全中的机器学习

Micro Focus大家比较熟悉，安全解决方案跟绿盟科技的平台类产品比较接近，主要有数据平台，企业安全管理，用户行为分析等。

“Demystifying Big data, analytics, and machine learning in Cyber Security（揭秘网络安全中的大数据，分析和机器学习）” 报告主要介绍了大数据清洗，机器学习和实际的案例。其中大数据清洗、机器学习并没太多新意，但实际场景案例的介绍干货满满。

大数据清洗

收集各种所需要的数据，清洗后ETL（Extract，Transformation，Load）到合适的位置。提的为避免数据的浪费，数据要从小开始，逐步扩展。

机器学习

The Power & Possibility of ML 机器学习的能力和可能性

known Knowns -> Known Unknowns -> Unknown Unknowns

你知道的你能知道的威胁-> 你知道你不会知道的威胁-> 你根本不知道你会不会知道的威胁

A ML Approach

实际案例场景

这部分的介绍比较有诚意，如外发扫描、横向移动、DGA活动的检测场景，笔者整理场景列表如下：

	场景名	What？	Why？	How？
Visualization/Cluster	Anomalous file updates	Explore timestamps on multiple files on a file system.	Typically files are updated on a schedule so all files get updated in a close time window	Cluster based on time deltas and see if there are anomalies to hunt
Visualization/Entropy	Anomalousoutbound activity-Outbound Scanners	Look for systems that are performing outbound scans.	Compromised systems look for vulnerabilities on other systems or try to map the network activity overlooked by IDS (little pattern and no malicious traffic sent.)	We’ll use outbound firewall traffic, aggregation, and entropy math to check unique connection destinations and randomness of addresses they connect to.
The Power of Simple Averages	Anomalous audit log activity-Windows 1102	Exploring when a users clear Windows logs, evidenced by windows creating a ”1102” event.	There is no need to manually clear security event logs (in most cases).	We plot activity by time and pivot between time windows to see if we can unearth anomalous activity. Using avgs can be useful provided we don’t normalize an attack into our average.
Visualizing Hard Coded Patterns	Lateral movement-SMB Activity	Exploring the tracking of lateral movement through a Windows network with the use of SMB logons, privilege escalation, scheduled tasks, and possibly the subsequent clearing of audit logs.	Because SMB is a trusted protocol, an attacker can use it for malicious purposes, which can be tracked and detected.	We look for successful logons via the SMB protocol, looking for a series of events associated with lateral movement.
Distance Algorithms	Process Impersonation – SUSPICIOUS PROCESS IMPERSONATION	Exploring process names on Windows systems	Adversaries hide suspicious processes (malware) using similar names to legitimate windows processes.	Using scores from Damerau-Levenshtein distance algorithm to judge which pairs of process names are more or less similar than others.

DGA Activity:

Low/Slow Attack:

Micro Focus企业安全管理架构图

笔者认为对AI或其它新技术的出现和应用需要保持积极乐观的心态，Micro Focus的自信来自于Micro Focus几十年企业文化的积累，以及对技术成熟度曲线的深刻理解。

Nsfocus – 机器学习驱动的全流量威胁分析解决方案

面对新的威胁，基于规则的传统检测手段已难满足，需要结合机器学习和其他高级分析技术，通过监控网络流量、连接和对象来找出恶意的行为迹象，尤其是失陷后的痕迹。

4月16日，2018 RSAC在美国旧金山开幕。与会期间，绿盟科技隆重发布了全流量威胁分析解决方案，北美资深安全顾问Guy Rosefelt在展会上演示分享了该方案，并对未来的信息安全发展趋势进行了深入解读。

绿盟全流量威胁分析解决方案（简称NSFOCUS TAM），其核心功能如下:

镜像流量采集

支持对镜像流量的全流量采集及对网络层、应用层协议进行解析，并可以将采集的到的镜像流量原始数据包及解析后的协议日志进行存储。

高级威胁分析

基于规则引擎，威胁情报能力，检测已知威胁；基于沙箱检测引擎、机器学习引擎检测未知威胁；最后，再通过攻击链引擎，对黑客的整个攻击环节进行关联，实现对高级威胁事件的全方位分析。

热点事件溯源追踪

基于场景分析引擎，能够将绿盟科技强大的应急响应通报能力进行本地化，对如“挖矿事件、永恒之蓝、Struts2”等应急事件可以先于规则引擎前进行检测，并且能够对历史流量进行回溯分析，发现历史上是否有相应事件发生。

NSFOCUS TAM为客户带来的价值如下：

对高危事件及失陷资产进行重点通报，大幅降低需要关注的告警数量，降低运维工作量。
规则检测、情报分析、沙箱检测和机器学习等多引擎结合，发现高级威胁事件，提升安全检测能力。
通过对热点事件的追踪溯源，将原来需要人工进行的应急响应进行自动化，提升应急响应效率。

近年来，绿盟科技紧跟网络安全发展形势，在物联网安全、工控安全、云计算安全，云安全服务等方面持续发力，相继发布多款安全产品及解决方案，并向用户提供持续不断的安全服务能力。绿盟科技已成为全球少数同时具备最全安全产品线、最全安全能力、最全安全服务模式的安全厂商之一。

【RSA2018】利用人工智能和机器学习优化威胁检测和应急响应