加载eBPF程序时Combined stack size过大错误的排查与解决

我尝试用eBPF程序收集流级别统计数据，定义了如下BPF哈希映射：

struct {
    __uint(type, BPF_MAP_TYPE_HASH);
    __type(key, struct network_tuple_xdp);
    __type(value, struct flow_state_xdp);
    __uint(max_entries, 64);
} flow_state_xdp_map SEC(".maps");

更新：新增额外映射后错误消失：

struct {
    __uint(type, BPF_MAP_TYPE_HASH);
    __type(key, struct network_tuple_xdp);
    __type(value, struct flow_state_xdp_2);
    __uint(max_entries, 64);
} flow_state_xdp_map_2 SEC(".maps");

映射使用的结构体定义：

struct network_tuple_xdp
{
    __u32 saddr;
    __u32 daddr;
    __u32 sport;
    __u32 dport;
};

struct flow_state_xdp
{
    __u32 flow_initialized;
    __u32 seq_num_curr;
    __u32 seq_num_prev;
    __u32 rto_count;
    __u32 tsval;
    __u32 tsecr;
    __u32 flow_size;
    __u32 fct;
};

更新：新映射对应的结构体（使用时需注释掉struct flow_state_xdp的最后4个成员）：

struct flow_state_xdp_2
{
    __u32 tsval;
    __u32 tsecr;
    __u32 flow_size;
    __u32 fct;
};

程序加载失败，报错如下：

libbpf: prog 'prog_xdp_ingress': BPF program load failed: Permission denied
libbpf: prog 'prog_xdp_ingress': -- BEGIN PROG LOAD LOG --
combined stack size of 2 calls is 544. Too large
processed 192213 insns (limit 1000000) max_states_per_insn 31 total_states 12609 peak_states 1056 mark_read 41
-- END PROG LOAD LOG --

当struct flow_state_xdp仅保留前4个成员时无此错误，现咨询：

1. 导致combined stack size过大错误的原因是什么？我已尝试BPF_MAP_TYPE_PERCPU_HASH且保证结构体对齐为8字节倍数，仍报错。
2. 如何在struct flow_state_xdp中保留全部8个成员并解决该错误？

1. 错误原因分析 #

这个错误是BPF验证器检测到程序中两个函数调用的栈空间总和超过了限制。

当使用包含8个__u32成员的结构体（共32字节）时，BPF程序在执行bpf_map_lookup_elem、bpf_map_update_elem等哈希映射操作时，会在栈上分配结构体的临时副本。如果代码中存在嵌套调用或多次操作该结构体，栈空间的累加就会触发验证器的栈大小检查。

需要注意：

• 即便使用PERCPU_HASH，栈空间的使用逻辑不变——每个CPU的映射操作仍需在栈上临时存储结构体数据。
• 结构体对齐符合要求，但结构体本身的大小增加会直接导致栈上临时变量占用空间变大，多个调用叠加后就会超过验证器允许的栈空间总和。

2. 解决方法 #

方法1：减少栈上临时结构体的使用 #

避免在栈上分配完整的struct flow_state_xdp，直接操作映射返回的指针：

// 直接使用指针操作，不拷贝整个结构体到栈上
struct flow_state_xdp *flow_state = bpf_map_lookup_elem(&flow_state_xdp_map, &key);
if (flow_state) {
    // 直接修改指针指向的成员，无需拷贝整个结构体
    flow_state->flow_size += pkt_len;
    // ...其他成员操作
}

这种方式仅在栈上存储一个指针（8字节），而非32字节的完整结构体，能大幅降低栈空间占用。

方法2：拆分函数调用，避免栈空间叠加 #

如果必须在栈上使用结构体，将涉及结构体操作的代码拆分为独立小函数，避免在同一个调用链中多次分配大结构体。比如把初始化结构体和更新映射的逻辑分开，让每个函数的栈空间使用独立计算，不会叠加到超限。

方法3：开启编译优化减少栈使用 #

编译eBPF程序时开启更高优化等级（如-O2或-O3），编译器会自动优化栈空间分配，减少不必要的临时变量存储。

方法4：用BPF辅助函数跳过栈存储 #

对于复杂结构体操作，可尝试用bpf_skb_load_bytes等辅助函数直接从数据包读取数据到映射的结构体中，跳过栈上临时存储步骤。

内容的提问来源于stack exchange，提问作者hundredmiles