如何利用eBPF内核程序实现出方向ACK数据包延迟

首先明确你之前两种尝试失败的根本原因：

• 直接调用mdelay/msleep/udelay报错是必然的。eBPF程序运行在内核挂钩的硬中断/软中断上下文，允许调用的内核函数全部在预定义的辅助函数白名单内，这类会阻塞执行流的睡眠/忙等函数根本不在白名单里，LLVM加载时自然会报外部函数无法解析的错误。就算你强行把函数地址硬编码进eBPF程序调用，也会直接卡住内核执行路径，轻则网络断流，重则触发内核硬锁重启。
• 手写时间判断的忙等循环过不了校验器也很正常。5.3版本之后的内核虽然支持有界循环，但要求校验器必须在程序加载阶段就能静态推导循环的最大执行次数，你靠运行时的时间差判断循环终止，校验器没法静态证明这个循环必然退出，会直接判定为无限循环拦截。就算你想办法绕过校验，这种自旋忙等会直接占满所在CPU核心，完全没有实用价值。

eBPF程序本身的设计要求就是挂钩点的逻辑必须快速执行、绝对不能阻塞，所以所有在内核eBPF上下文里直接做延迟的思路都是走不通的，正确的实现逻辑都是拦截目标包暂存，延迟到期后再重新注入发送路径，目前有两种成熟的落地方案，都可以基于BCC的Python+C混合开发模式实现：

方案1：TC挂钩 + perf事件上报 + 用户态定时发送（实现门槛最低，兼容所有较新内核） #

这个方案不需要用到高版本内核的特殊特性，逻辑简单好调试：

1. 内核态C代码部分挂载到网卡的tc egress挂钩点：
   • 匹配到需要延迟的TCP ACK包时，调用bpf_perf_event_output把完整的数据包内容、网卡索引、端口等元信息推送到perf环形缓冲区
   • 直接返回TC_ACT_SHOT丢弃当前拦截到的ACK包，阻断它的即时发送
2. 用户态Python部分逻辑：
   • 监听perf环形缓冲区，收到内核上报的待延迟ACK包时，启动一个对应延迟时长的定时器（比如要延迟20ms就设置20ms的定时）
   • 定时器到期后，通过AF_PACKET原始套接字把暂存的数据包从对应出网卡发送出去即可

注意点：抓包时要确保读取到完整的以太网帧、IP头、TCP头，发送前如果做了包内容修改要重新计算校验和，避免包被协议栈丢弃。

方案2：eBPF内核定时器 + skb重定向（性能最优，内核版本≥5.15可用） #

如果你的运行环境内核版本在5.15以上，支持bpf_timer系列辅助函数，可以完全在内核态完成整个流程，不需要把数据包拷贝到用户态，性能损耗更低：

1. 内核态C代码同样挂载到tc egress挂钩点：
   • 匹配到目标ACK包后，先调用bpf_skb_pull_data确保skb线性区包含完整的数据包内容
   • 初始化一个绑定在自定义eBPF Map上的定时器，设置超时时间为你需要的延迟值，把当前skb的引用、出网卡索引作为回调上下文存到Map中
   • 返回TC_ACT_SHOT暂时拦截包发送
2. 定时器到期后自动触发预先定义的eBPF回调函数：
   • 从回调上下文里取出之前暂存的skb和网卡信息
   • 调用bpf_redirect把skb重定向到对应网卡的egress发送队列完成发送
   • 清理Map里对应的临时条目，避免内存泄漏

注意点：bpf_timer的回调运行在软中断上下文，不要放太重的逻辑，同时要正确处理skb的引用计数，避免出现skb泄漏或者非法访问的问题。

额外补充 #

如果需要做通用场景的数据包延迟，只需要把内核态里匹配TCP ACK的规则替换成你需要的流量匹配规则即可，后续的暂存、延迟、发送逻辑完全通用。如果你的内核版本太低不支持bpf_timer，又不想用用户态转发的方案，也可以通过eBPF给目标包打分类标记，配合内核自带的netem流量控制模块实现延迟，只是灵活性比前两种方案差一些。

内容的提问来源于stack exchange，提问作者Ayushri Arora