如何使RSS对SRv6数据包生效以实现多核心CPU负载均衡
Mellanox ConnectX-5 适配SRv6流量的CPU负载均衡实现方法
核心问题根因
ConnectX-5默认的RSS分流逻辑对带SRv6扩展头的IPv6帧存在识别偏差,默认哈希集不会提取外层IPv6头的地址字段计算分流哈希值,最终所有SRv6流量都会进入单个RX队列,对应绑定单个CPU核心处理。
配置流程
- 第一步:查询当前网卡的RSS哈希规则
执行命令确认当前配置状态:ethtool -X <对应网卡接口名> query
若返回结果未包含IPv6源地址(sip6)、目的地址(dip6)的哈希字段,即为分流不生效的直接原因。 - 第二步:配置基于外层IPv6地址的专属RSS规则
直接强制网卡计算分流哈希时仅提取外层IPv6头的地址字段,忽略SRv6扩展头的解析影响:ethtool -X <对应网卡接口名> equal <启用的RX队列总数> hfunc toeplitz sip6 dip6
参数说明:equal <队列总数>:按均等权重将流量平均分配到指定数量的RX队列,无需手动配置各队列权重hfunc toeplitz:使用ConnectX-5硬件原生支持的标准哈希算法,分流偏差最低sip6 dip6:明确指定哈希计算仅采用外层IPv6的源、目的地址字段,跳过SRv6扩展头的未知协议识别逻辑,避免哈希计算失效
- 第三步:排除环境干扰
- 检查网卡固件版本:ConnectX-5 12.24.0100之前的旧固件存在已知SRv6帧识别bug,会将带SRv6扩展头的IPv6帧判定为非可分流帧,升级到对应版本及以上固件即可修复该问题。
- 确认XDP运行模式:通用模式(generic XDP)下运行eBPF程序时,即使网卡侧完成了队列分流,内核也会将流量重新收敛到单CPU处理,需切换为原生模式(native XDP)或硬件卸载模式(offloaded XDP),使各RX队列与CPU核心一一绑定,才能真正实现多核并行处理。
- 关闭异常RPS/RFS干扰:系统默认开启的RPS/RFS流量映射规则如果配置错误,会将多队列流量重新汇聚到单CPU,可临时对所有RX队列执行以下操作关闭RPS后再测试:
echo 0 > /sys/class/net/<对应网卡接口名>/queues/rx-<队列序号>/rps_cpus
内容的提问来源于stack exchange,提问作者takeru ta
相关产品推荐
相关产品推荐

