Linux下多TCP连接独立RX/TX队列配置及性能影响咨询

1. 如何确保每个连接拥有独立的RX/TX队列？ #

Linux多队列网卡的流量分配逻辑分自动哈希和手动控制两种场景：

• 自动哈希分配：绝大多数多队列网卡默认基于**TCP五元组（源IP、目的IP、源端口、目的端口、协议）**做哈希，将不同连接的流量分发到不同队列。如果你的2-3个连接目的IP不同（符合场景描述），只要网卡哈希策略包含dip（目的IP）字段，大概率会被分到不同队列。可以用ethtool -n <网卡名> rx-flow-hash tcp4命令查看当前哈希使用的字段，比如输出包含dip就说明会按目的IP做哈希。但这种方式不保证100%独占队列，极端情况可能出现哈希冲突。
• 手动强制绑定：如果要确保每个连接独占队列，需要结合套接字选项和队列-CPU绑定：
  • RX队列绑定：使用SO_INCOMING_CPU套接字选项，指定该套接字的数据包由特定CPU处理。同时通过irqset或ethtool将该CPU绑定到网卡对应的RX队列中断（比如把ethX-rx-0的中断亲和性设为CPU0），实现连接→CPU→RX队列的一一对应。另外开启RFS（Receive Flow Steering）（通过sysctl net.core.rps_sock_flow_entries配置），内核会自动将连接的数据包定向到处理该连接的线程所在CPU对应的RX队列，配合线程绑定CPU效果更好。
  • TX队列绑定：内核4.1及以上支持SO_SELECT_TX_QUEUE套接字选项，可直接指定套接字使用的TX队列编号。也可以通过ethtool调整TX队列的哈希策略，比如强制按目的IP哈希，确保不同连接的发送流量分到不同TX队列。

2. 共享网卡接口的性能影响 #

共享同一NIC的性能影响主要取决于队列与CPU、线程的绑定策略，而非网卡本身：

• 协议栈层面：如果每个连接的线程绑定到专属CPU，且RX/TX队列也绑定到对应CPU，那么协议栈的锁竞争几乎可以忽略——每个核心独立处理自己的套接字、软中断，不会跨核心争抢全局锁（如TCP控制块锁）。但如果没有做好绑定，会出现跨核心缓存同步、锁竞争，开销会显著上升。
• 硬件层面：网卡在不同队列间切换的开销确实极小，通常仅数十到上百CPU周期，主要是硬件哈希计算和队列调度的成本，常规场景下可忽略。
• 其他潜在影响：
  • 若哈希冲突或队列不足导致多个连接挤入同一队列，会产生队列内排队延迟，降低单连接性能；
  • 网卡总带宽是共享资源，若多个连接同时跑满带宽，会互相抢占带宽，这是物理限制，和队列无关；
  • 少数全局协议栈特性（如TCP时间戳）可能存在极少量全局锁，但在绑定优化后影响微乎其微。

简单来说：做好队列-CPU-线程的一一绑定后，协议栈几乎无竞争，主要开销来自硬件层面的队列调度和物理带宽共享，而非协议栈本身。

内容的提问来源于stack exchange，提问作者user997112