自研epoll事件循环ksoftirqd负载高，Nginx同系统调用却正常，原因何在？

我编写了一段带有epoll-eventloop的代码，用于接受新连接并模拟HTTP服务器。以下是极简版本代码——我移除了所有冗余内容（包括所有错误检查），以尽可能精简：

#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <netinet/ip.h>
#include <netinet/in.h>
#include <sys/uio.h>
#include <unistd.h>

// 省略未贴全的代码部分

这种情况大概率是你的epoll事件循环在处理网络事件的方式上，和Nginx的高效实现存在几个关键差异，直接导致了内核软中断（ksoftirqd）的高负载。我来拆解一下最常见的原因：

1. 事件触发模式的使用与处理不规范 #

Nginx默认使用epoll的边缘触发（ET）模式，而很多新手写epoll时会用默认的水平触发（LT）模式，还没处理完socket缓冲区里的所有数据就退出处理逻辑。这会导致内核不断触发同一个读/写事件，软中断线程（ksoftirqd）反复被唤醒处理这些未完成的事件，直接拉高负载。

举个例子：如果你的代码在收到一次读事件后，只调用了一次recv()就返回，而此时socket缓冲区里还有未读的数据，LT模式下epoll会持续通知这个事件，内核就得不断处理这个触发逻辑，ksoftirqd自然忙起来。而Nginx在ET模式下会循环调用recv()直到返回EAGAIN（表示缓冲区已空），一次性把数据处理完，避免重复触发。

2. 未正确处理socket的接收/发送缓冲区 #

如果你的代码没有高效处理socket缓冲区，比如每次读数据的字节数太少，或者没处理到EAGAIN就停止，内核里残留的待处理数据会不断触发软中断。Nginx会尽可能一次性读满缓冲区，减少内核到用户态的切换次数，同时也避免了内核反复通知事件。

另外，Nginx会合理调整socket的接收缓冲区大小（通过SO_RCVBUF），配合内核参数优化（比如net.core.rmem_max），减少因为缓冲区不足导致的频繁数据包分片和软中断。

3. epoll_wait的超时设置不合理 #

如果你的代码把epoll_wait()的超时时间设为0（非阻塞模式），那么当没有事件时，事件循环会疯狂空转，反复调用epoll_wait()，导致CPU占用飙升，同时也会让内核频繁处理用户态的系统调用请求，间接拉高ksoftirqd的负载。

Nginx会把超时时间设为一个合理的值（比如几毫秒），当没有事件时让进程进入休眠状态，减少空转，降低内核的调度压力。

4. 缺乏连接生命周期管理 #

如果你的代码没有及时关闭超时或无效的连接，这些连接会一直占用socket资源，内核需要不断维护这些连接的状态，处理它们的心跳或残留数据，导致软中断持续工作。

Nginx有完善的连接超时管理机制，会主动关闭超时的空闲连接，清理无效资源，减少内核的负担。

5. 内核参数与socket选项的优化缺失 #

Nginx会对很多内核网络参数进行优化，比如开启TCP_NODELAY避免Nagle算法延迟，设置SO_REUSEPORT让多个进程均衡处理连接，调整net.core.somaxconn增大监听队列等。这些优化能减少内核处理网络事件的开销，降低软中断的触发频率。

而你的极简代码可能完全没有这些优化，导致内核在处理连接和数据时效率低下，ksoftirqd不得不频繁工作。

总结一下，核心问题就是你的事件循环没有像Nginx那样做到一次性处理完所有可用数据、合理利用触发模式、减少空转、优化资源管理，这些细节累加起来就导致了ksoftirqd的高负载。

内容的提问来源于stack exchange，提问作者Xatian