基于DPDK与Mellanox Connect-X5，如何按IP/Port将流量导向不同队列？

你的需求完全可以通过硬件卸载技术实现，无需在用户态解析报文头，针对Mellanox Connect-X 5网卡和DPDK 22.11环境，推荐两种落地方案：

方案一：RSS（接收端缩放）精准配置 #

RSS通过对IP/Port字段哈希，将流量映射到不同队列，适合按流哈希分发的场景，操作步骤如下：

• 确认网卡哈希支持：Mellanox CX5原生支持IPv4/v6 + TCP/UDP端口的组合哈希，可通过DPDK工具dpdk-devbind.py或API rte_eth_dev_info_get查询具体支持的哈希字段。
• 配置RSS哈希规则：调用DPDK API rte_eth_dev_rss_hash_conf_set，开启RTE_ETH_RSS_IP和RTE_ETH_RSS_TCP/RTE_ETH_RSS_UDP哈希类型，确保哈希计算包含IP和端口字段。
• 定制RSS重定向表：通过rte_eth_dev_rss_reta_update修改RSS重定向表，将两路流对应的哈希值映射到指定队列（比如流A哈希值对应队列0，流B对应队列1）。可提前计算每路流的IP/Port哈希值，或通过测试报文确定哈希结果后调整表项。

方案二：Flow Director（流导向）精确匹配 #

Flow Director是Mellanox网卡支持的硬件流分类技术，可实现IP/Port的精准匹配并定向到指定队列，无哈希冲突风险，操作步骤如下：

• 初始化DPDK流规则环境：确保网卡已启用Flow API支持（mlx5驱动默认支持），调用rte_flow_validate验证环境可用性。
• 创建流匹配规则：针对每路流，定义包含以太网头、IP头（源/目的IP）、传输层头（源/目的端口）的匹配模板，示例代码片段：

  struct rte_flow_item pattern[] = {
      RTE_FLOW_ITEM_TYPE_ETH(),
      RTE_FLOW_ITEM_TYPE_IPV4(
          &(struct rte_flow_item_ipv4){
              .hdr.src_addr = htonl(0x0A000001), // 目标源IP
              .hdr.dst_addr = htonl(0x0A000002), // 目标目的IP
          }),
      RTE_FLOW_ITEM_TYPE_TCP(
          &(struct rte_flow_item_tcp){
              .hdr.src_port = htons(1234), // 目标源端口
              .hdr.dst_port = htons(5678), // 目标目的端口
          }),
      RTE_FLOW_ITEM_TYPE_END(),
  };
  

• 绑定队列动作：定义流动作为将匹配流量定向到指定队列，示例代码片段：

  struct rte_flow_action action[] = {
      RTE_FLOW_ACTION_TYPE_QUEUE(
          &(struct rte_flow_action_queue){.index = 0}), // 指定目标队列0
      RTE_FLOW_ACTION_TYPE_END(),
  };
  

• 提交流规则：调用rte_flow_create将规则下发到网卡硬件，完成流量定向配置。

额外注意事项 #

• 网卡队列配置：初始化网卡时，通过rte_eth_dev_configure设置接收队列数为2，再通过rte_eth_rx_queue_setup为每个队列分配内存，最后将队列绑定到指定核心（使用rte_eal_remote_launch绑定收包逻辑到对应核心）。
• 驱动支持：确保系统加载了mlx5驱动，DPDK编译时启用了CONFIG_RTE_LIBRTE_MLX5_PMD选项。

内容的提问来源于stack exchange，提问作者adastra