单UDP服务器套接字多线程调用sendto/sendmsg性能未达预期问题咨询

同一UDP服务器套接字被多线程同时调用sendto/sendmsg存在明确的内核层面性能瓶颈，核心原因如下：

• Linux/类Unix内核中，每个套接字对应一个专属的内核锁，所有针对同一个套接字文件描述符的发送类系统调用，必须先抢到该锁才能执行，实际发送逻辑完全是串行执行的。你的多线程方案中大部分CPU时间都消耗在了锁等待上，因此总耗时无法降到单线程的1/n，这一问题和缓冲区、内核网络参数配置无关，是套接字的内核设计逻辑决定的。

• 多套接字隔离方案：给每个发送线程创建独立的UDP套接字，所有套接字都开启SO_REUSEPORT选项（要求Linux内核版本高于3.9，目前主流发行版均已支持）后绑定同一个本地IP和端口。该方案下每个套接字有独立的内核锁，线程之间不存在锁竞争，性能可以实现接近线性的提升，且客户端感知不到任何差异，收到的UDP报文来源端口和原有方案完全一致，是改造成本最低、收益最高的方案。
• 批量发送优化：将单个发送周期内需要发给多个客户端的报文批量提交，用sendmmsg系统调用替代循环调用sendto。sendmmsg单次系统调用可以提交最多数十个报文的发送任务，大幅降低用户态到内核态的切换开销，单线程场景下即可将发送效率提升3~10倍，配合多独立套接字方案效果更好。
• CPU亲和性绑定：将发送线程和固定的物理CPU核心绑定，同时配置内核网络中断亲和性，减少线程上下文切换和缓存失效的开销，进一步降低发送操作的平均耗时。
• 极端场景可选用户态网络栈：如果对发送延迟要求极高，且前面的方案仍无法满足要求，可以接入DPDK等用户态网络栈，完全绕开内核网络栈的锁开销和系统调用开销，但是改造成本较高，需要自行实现UDP协议的部分逻辑。

内容的提问来源于stack exchange，提问作者Kevin Meier