KVM环境下DPDK l2fwd多RX/TX队列配置异常咨询

问题分析与解答 #

针对你在KVM+DPDK环境下测试多队列遇到的问题，我结合KVM virtio-net/vhost机制和DPDK的队列处理逻辑来逐一解答：

1. 为何KVM环境中未配置的RX队列1会收到报文，而ESXi环境下所有报文仅从队列0读取？

这本质是KVM和ESXi对虚拟网卡多队列的流量分发策略差异导致的：

• 在你的KVM配置中，虚拟机网卡使用vhost驱动并设置queues='2'，同时macvtap采用passthrough模式。KVM的vhost-net驱动默认会启用**RSS（Receive Side Scaling）**或基于哈希的流量分发机制——当主机侧物理网卡（ens1）开启RSS，或者vhost驱动本身启用负载均衡时，它会根据报文五元组（源/目的IP、端口、协议）做哈希计算，将不同流的报文分发到不同RX队列。即便你的DPDK应用只初始化了队列0，KVM后端依然会把部分流量投递到队列1。
• 而ESXi的直通网卡（如SR-IOV或直接passthrough）默认队列调度策略偏向单队列独占：除非手动配置ESXi多队列RSS规则，否则所有流量都会映射到队列0，不会自动做负载均衡分发，因此DPDK只监听队列0就能收到所有报文。

另外你设置了trustGuestRxFilters='yes'，这允许虚拟机侧DPDK应用设置RX过滤规则，但KVM的vhost层流量分发在主机侧完成，所以即便DPDK未配置队列1，KVM仍会把符合哈希规则的报文发到队列1。

2. 是否可关闭KVM的负载均衡，使报文仅进入单一RX队列？

当然可以，你可以通过以下几种方式实现：

• 修改虚拟机XML配置，强制使用单队列：
  将网卡配置中的queues='2'改为queues='1'，这样vhost驱动只会创建一个RX/TX队列，所有流量默认投递到队列0，DPDK应用只需监听队列0即可。修改后的配置片段：

  <interface type='direct' trustGuestRxFilters='yes'>
  <source dev='ens1' mode='passthrough'/>
  <model type='virtio'/>
  <driver name='vhost' queues='1'/>
  </interface>
  

• 保留多队列配置，但关闭KVM的RSS负载均衡：
  若你需要保留多队列配置（比如后续可能扩展），可在虚拟机XML的<interface>标签下添加RSS禁用配置，强制所有流量走队列0：

  <interface type='direct' trustGuestRxFilters='yes'>
  <source dev='ens1' mode='passthrough'/>
  <model type='virtio'/>
  <driver name='vhost' queues='2'/>
  <rss mode='none'/>
  </interface>
  

• 主机侧物理网卡关闭RSS：
  在KVM宿主机上，对物理网卡ens1执行命令关闭RSS，避免主机侧对macvtap流量做哈希分发：

  ethtool -K ens1 rss off
  

  注意：此操作会影响该网卡上的所有流量，若还有其他虚拟机或服务使用该网卡，需评估影响。

结合你的测试场景：当使用1RX+2TX配置时，部分ARP和ICMP报文被KVM分发到未监听的RX队列1，导致无法转发；而2RX+2TX时两个队列都被监听，能正常接收所有流量，这也验证了流量被分发到多队列的问题。

内容的提问来源于stack exchange，提问作者Brijesh Valera