一、eBPF
1.1 简介
eBPF是一项革命性的技术,可以在操作系统内核中运行沙盒程序。它用于安全有效地扩展内核的功能,而无需更改内核源代码或加载内核模块。通过允许在操作系统中运行沙箱程序,应用程序开发人员可以运行eBPF程序,以便在运行时向操作系统添加额外的功能。然后,操作系统保证安全性和执行效率,就像在实时(JIT)编译器和验证引擎的帮助下进行本机编译一样。这导致了一波基于eBPF的项目,涵盖了广泛的用例,包括下一代网络、可观察性和安全功能。
eBPF程序是事件驱动的,当内核或应用程序通过某个hook时运行。预定义的hook包括system calls, 函数的entry/exit, kerneltracepoints, network 事件等等。图1展示了eBPF在hook系统调用时程序调用的实际以及如何获取系统的数据。
eBPF可以对接多种类型的探针:
• Kprobes
• Kretprobes
• Tracepoints
• Uprobes
• Uretprobes
• …
eBPF中有两个比较重要的部分:Prog和 Map。
• eBPF Prog
为了细分不同类型的eBPF程序,截止到Kernel 5.8, eBPF划分了30种不同的eBPF 程序类型[1]。每种eBPF只能实现的有限的功能 。内核提供了一系列可供eBPF程序调用的内核函数来实现功能的可控,保障eBPF程序的安全性。这些内核函数通常被称为 helper辅助函数[2]。不同类型的程序可以使用不同的helper辅助函数。有关Prog的类型详解:使用场景、函数签名、执行位置及程序示例可以查阅产考文献[3]。
• eBPF Map
Map是一种用来存储不同数据的动态的数据类型,允许在内核态的程序之间共享数据,也能够在内核态和用户态应用之间共享数据。可以实现用户态和内核态的双向实时通信。
随着版本迭代与功能的扩展细化,目前bpf_map_type已经有28不同类型的map[4]。所以在使用map时,需要根据应用场景指定一个合适的类型。关于BPF Map 类型详解使用可以参考[5]。map大致可以分为下面几种类型:
• Hash tables, Arrays
• LRU (Least Recently Used)
• Ring Buffer
• Stack Trace
• LPM (Longest Prefix match)
• …
1.2编写eBPF
内核中提供了bpf系统调用:
int bpf(int cmd,union bpf_attr *attr,unsigned int size);
但在许多场景中,bpf不是直接使用,而是通过Cilium[6]、bcc[7]或bpftrace[8],goebpf[9],libbpf[10]等项目间接使用。这些项目在eBPF之上提供了一个抽象,不需要直接编写程序,而是提供了指定基于意图定义的能力,然后用eBPF实现这些定义。在 linux 源码中的 samples/bpf [11] 目录下可以找到对应的例子。关于eBPF的编写和使用也可以参阅往期文章[12]。
1.3eBPF应用场景
得益于eBPF的强大能力,一大批基于eBPF的优秀开源项目相继涌现,如BPFTrace,Katran[13],Cilium,Falco[14],Pixie[15],eBPF Exporter[16]等等,覆盖观测跟踪,网络,安全等各个方面。在国内,各家云厂商也开始采用eBPF技术来优化系统设计。下面我们将以Falco为例,展示下eBPF是如何实现安全监控的能力的。
二、Falco
2.1 简介
Falco最初是由Sysdig[17]创建的,后来加入CNCF孵化器,成为首个加入CNCF的运行时安全项目。可以实现对调用行为的监控,并依赖于强大的规则引擎,对异常的系统调用行为进行告警。
2.2Falco架构
Falco架构图如图3所示。有关Falco的具体的介绍和使用可以参考往期文章【探索SysdigFalco:容器环境下的异常行为检测工具】,本文重点关注Falco对系统调用的采集。Falco对系统调用的采集有两种模式:
• LKM (Linux Kernel Module)内核扩展模块
• eBPF Probe.
这两种方法在功能上是相同的,但内核模块的效率要高一些,而eBPF方法更安全。
Falco的eBPF模块主要是对内核的静态探针Tracepoints进行hook,之所以没有采用动态探针Kprobes,是因为Kprobes并不是一种稳定的探针,可能会随着内核的迭代更新而新增或者删除,对内核版本的依赖性较高,因此兼容性与稳定性也就较差。
sysdig在他们的官方博客对eBPFdriver的评价[18]如下:
可能是这个星球上最雄心勃勃的、最复杂的eBPF脚本。
下面我们从Falco利用eBPF监控系统调用的代码层面[19],了解下Falco如何利用eBPF实现系统调用的监控。
Falco主要是使用系统的raw_tracepoint或者tracepoint,这取决于不同内核所能提供的能力。
# 从linux kernel 4.17后,添加了raw_tracepoint类型。
__bpf_section(TP_NAME #event)int bpf_##event(struct type*ctx)
__bpf_section(TP_NAME prefix #event)int bpf_##event(struct type*ctx)
Falco的eBPF驱动提供了以下几种类型的调用采集的能力。
BPF_PROBE("raw_syscalls/", sys_enter, sys_enter_args)
BPF_PROBE("raw_syscalls/", sys_exit, sys_exit_args)
BPF_PROBE("sched/", sched_process_exit, sched_process_exit_args)
BPF_PROBE("sched/", sched_switch, sched_switch_args)
BPF_PROBE("exceptions/", page_fault_user, page_fault_args)
BPF_PROBE("exceptions/", page_fault_kernel, page_fault_args)
BPF_PROBE("signal/", signal_deliver, signal_deliver_args)
下面以tracepoint:syscalls:sys_enter为例分析下,Falco是如何利用eBPF来采集系统调用的详细信息的。
BPF_PROBE("raw_syscalls/", sys_enter, sys_enter_args)
{
...
// 获取系统调用的系统调用相关信息
id =bpf_syscall_get_nr(ctx);
sc_evt =get_syscall_info(id);
evttype = sc_evt->enter_event_type;
...
// 调用具体系统调用的信息采集方法
call_filler(ctx, ctx, evt_type, settings, drop_flags);
/* Duplicated here to avoid verifier madness */
structsys_enter_args stack_ctx;
memcpy(stack_ctx.args, ctx->args,sizeof(ctx->args));
if(stash_args(stack_ctx.args))
return0;
call_filler(ctx,&stack_ctx, evt_type, settings, drop_flags);
return0;
}
可以看到,这只是入口,实际的eBPF的程序是使用bpf_tail_call()尾调用机制调用的。有关bpf_tail_call的介绍可以从参考文献[20]中获取。
static __always_inline void call_filler(void *ctx,
void *stack_ctx,
enum ppm_event_typeevt_type,
struct sysdig_bpf_settings *settings,
enum syscall_flags drop_flags)
{
...
bpf_tail_call(ctx,&tail_map, filler_info->filler_id);
bpf_printk("Can't tail call fillerevt=%d, filler=%d\n",
state->tail_ctx.evt_type,
filler_info->filler_id);
...
}
bpf_tail_call是从tail_map获取指定的BPF 程序执行。tail_map是type为BPF_MAP_TYPE_PROG_ARRAY的map集合。这种类型的 array 存放的是BPF 程序的文件描述符(fd),在尾调用时使用。
struct bpf_map_def __bpf_section("maps") tail_map ={
.type = BPF_MAP_TYPE_PROG_ARRAY,
.key_size =sizeof(u32),
.value_size =sizeof(u32),
.max_entries = PPM_FILLER_MAX,
};
tail_map中的BPF 程序位于driver/bpf/fillers.h中,考虑代码复用,里面使用了大量的宏定义。
#define FILLER(x,is_syscall) \
static__always_inline int__bpf_##x(struct filler_data *data); \
\
__bpf_section(TP_NAME "filler/" #x) \
static__always_inline int bpf_##x(void*ctx) \
{ \
struct filler_data data; \
intres; \
\
res=init_filler_data(ctx,&data,is_syscall); \
if(res==PPM_SUCCESS){ \
if(!data.state->tail_ctx.len) \
write_evt_hdr(&data); \
res=__bpf_##x(&data); \
} \
\
if(res==PPM_SUCCESS) \
res=push_evt_frame(ctx,&data); \
\
if(data.state) \
data.state->tail_ctx.prev_res=res; \
\
bpf_tail_call(ctx,&tail_map,PPM_FILLER_terminate_filler);\
bpf_printk("Can't tail call terminate filler\n"); \
return 0; \
} \
\
static__always_inline int __bpf_##x(struct filler_data *data) \
FILLER(sys_open_x,true)
{
...
调用参数采集
res = bpf_val_to_ring(data, dev);
return res;
}
FILLER(sys_empty,true)
...
可以将宏定义还原后,查看简化的代码结构如下:
static __always_inline int __bpf_sys_open_x(struct filler_data *data);
__bpf_section(TP_NAME "filler/" sys_open_x)
static __always_inline int bpf_sys_open_x(void *ctx)
{
...
// 调用实际的信息获取的方法,采集系统调用信息
res = __bpf_sys_open_x(&data);
...
if(res == PPM_SUCCESS)
// 将采集的数据发送给用户态程序
res = push_evt_frame(ctx,&data);
...
}
static __always_inline int __bpf_sys_open_x(struct filler_data *data)
{
...
// 调用参数采集,并将结果填充到data结构体中
if(retval <0||!bpf_get_fd_dev_ino(retval,&dev,&ino))
dev =0;
res = bpf_val_to_ring(data, dev);
return res;
}
static __always_inline int push_evt_frame(void *ctx,
struct filler_data *data)
{
...
int res = bpf_perf_event_output(ctx,
&perf_map,
BPF_F_CURRENT_CPU,
data->buf,
((data->state->tail_ctx.len -1)& SCRATCH_SIZE_MAX)+1);
int res = bpf_perf_event_output(ctx,
&perf_map,
BPF_F_CURRENT_CPU,
data->buf,
data->state->tail_ctx.len & SCRATCH_SIZE_MAX);
可以看到, push_evt_frame中实际是bpf_perf_event_output()将获取到的数据发送到perf_map,利用perf 缓冲区从内核向用户空间发送数据。但是perf 缓冲区基于单个CPU的设计本身会有一定的缺陷,因此Linux 5.8开始 ,BPF提供了新的数据结构:BPF环形缓冲区(ringbuf)。有兴趣的读者可以从参考文献中了解更为详细的细节。关于BPF perfbuf和ringbuf的详细资料可以参考[21]。
struct bpf_map_def __bpf_section("maps") perf_map ={
.type = BPF_MAP_TYPE_PERF_EVENT_ARRAY,
.key_size =sizeof(u32),
.value_size =sizeof(u32),// 只能是 sizeof(u32) ,代表的是 perf_event 的文件描述符
.max_entries =0,//是perf_event 的文件描述符数量。
};
perf_map是一个type为BPF_MAP_TYPE_PERF_EVENT_ARRAY的map。与其他array、hash 类型的eBPF map不同,BPF_MAP_TYPE_PERF_EVENT_ARRAY采用bpf_perf_event_output()往map中填充数据。
在这时用户态程序就可以从perf 缓冲区中获取到记录数据,传入Falco的规则引擎中进行匹配分析。
三、总结
如今,eBPF被广泛用于推动各种各样的用例:在现代数据中心和云原生环境中提供高性能网络和负载均衡,以低开销提取细粒度的安全可观察性数据,帮助应用程序开发人员跟踪应用程序,为性能故障排除、预防性应用程序和容器运行时安全实施提供见解等等。
本文以Falco为例,分析了eBPF在安全监控领域的使用方式。这只是eBPF技术的一个很小的应用场景,其他诸如加速网络访问,远程调试程序等等场景使用eBPF技术都能有很好的效果,有兴趣的读者也可以关注下。
参考文献
[1]. https://github.com/iovisor/bcc/blob/master/docs/kernel-versions.md#program-types
[2]. https://man7.org/linux/man-pages/man7/bpf-helpers.7.html
[3]. http://arthurchiao.art/blog/bpf-advanced-notes-1-zh/
[4]. https://github.com/torvalds/linux/blob/v5.8/include/uapi/linux/bpf.h#L122
[5]. http://arthurchiao.art/blog/bpf-advanced-notes-3-zh/#3-bpf_map_type_prog_array
[6]. https://github.com/cilium/cilium
[7]. https://github.com/iovisor/bcc
[8]. https://github.com/iovisor/bpftrace
[9]. https://github.com/dropbox/goebpf
[10]. https://github.com/libbpf/libbpf
[11]. https://github.com/torvalds/linux/tree/master/samples/bpf
[12]. https://mp.weixin.qq.com/s?__biz=MzIyODYzNTU2OA==&mid=2247487440&idx=1&sn=cb6379cfc4a1bba0881363840afc438a&chksm=e84fa90fdf38201990781e3c95d9857e6d4ad083ce40a575e1cbdc12aaabb4f58ba527dc58c1&scene=21#wechat_redirect。
[13]. https://github.com/facebookincubator/katran
[14]. https://github.com/falcosecurity/falco
[15]. https://github.com/pixie-io/pixie
[16]. https://github.com/cloudflare/ebpf_exporter
[17]. https://sysdig.com/
[18]. https://sysdig.com/blog/sysdig-contributes-falco-kernel-ebpf-cncf
[19]. https://github.com/falcosecurity/libs/tree/master/driver/bpf
[20]. https://lwn.net/Articles/645169/
[21]. https://www.ebpf.top/post/bpf_ring_buffer
上述情形之外的任何使用形式,均需提前向绿盟科技(010-68438880-5462)申请版权授权。如擅自使用,绿盟科技保留追责权利。同时,如因擅自使用博客内容引发法律纠纷,由使用者自行承担全部法律责任,与绿盟科技无关。