DPDK环境下基于UDP负载隧道ID的硬件RSS配置咨询

Intel X710和Mellanox ConnectX-4均支持基于UDP负载指定偏移字段的RSS哈希配置，完全满足你基于隧道ID实现同ID数据包归拢到同一CPU核心的需求，具体配置方法如下：

Intel X710 配置方法 #

Intel X710归属ixgbe驱动系列，支持自定义RSS哈希字段偏移，推荐用DPDK rte_flow实现动态配置，也可通过固件静态配置：

1. DPDK rte_flow 动态配置（推荐） #

通过流量规则匹配UDP包，指定隧道ID在数据包中的字节偏移（需计算从以太网帧起始到隧道ID的总长度），示例代码逻辑：

struct rte_flow_attr attr = {.ingress = 1};
struct rte_flow_item pattern[] = {
    RTE_FLOW_ITEM_TYPE_ETH(),
    RTE_FLOW_ITEM_TYPE_IPV4(), // 若用IPv6则替换为RTE_FLOW_ITEM_TYPE_IPV6()
    RTE_FLOW_ITEM_TYPE_UDP(),
    RTE_FLOW_ITEM_TYPE_END(),
};
// 定义RSS动作，指定UDP负载内4字节隧道ID的偏移
struct rte_flow_action_rss rss = {
    .func = RTE_FLOW_ACTION_RSS_FUNC_TOEPLITZ,
    .types = 0, // 禁用默认哈希字段，使用自定义偏移
    .key_len = 40, // 采用默认RSS密钥长度
    .queue_num = rte_eth_dev_count_rx_ports(port_id),
    .fields = (struct rte_flow_action_rss_field[]) {
        {
            .type = RTE_FLOW_ACTION_RSS_FIELD_CUSTOM,
            .offset = sizeof(struct rte_ether_hdr) + sizeof(struct rte_ipv4_hdr) + sizeof(struct rte_udp_hdr),
            .length = 4,
        },
        // 可选：添加源IP等其他字段参与哈希，示例：
        // {.type = RTE_FLOW_ACTION_RSS_FIELD_IPV4_SRC, .offset = 0, .length = 4},
    },
    .field_num = 1, // 若添加其他字段，需对应修改为实际数量
};
struct rte_flow_action actions[] = {
    {.type = RTE_FLOW_ACTION_TYPE_RSS, .conf = &rss},
    RTE_FLOW_ACTION_TYPE_END(),
};
struct rte_flow *flow = rte_flow_create(port_id, &attr, pattern, actions, NULL);

• 偏移计算需精准：需确认以太网头、IP头、UDP头的总长度，确保指向隧道ID的起始位置。

2. 固件静态配置（需重启网卡） #

通过ethtool和ixgbe专用工具设置：

# 配置UDP4的RSS哈希规则
ethtool -N <ethX> rx-flow-hash udp4 sdfn
# 使用ixgbe-config工具指定UDP负载内4字节字段的偏移（需提前计算偏移值）
ixgbe-config -d <pci_addr> set RSS_CUSTOM_OFFSET=<offset> RSS_CUSTOM_LENGTH=4

Mellanox ConnectX-4 配置方法 #

Mellanox ConnectX-4归属mlx5驱动系列，支持FlexRSS特性，可灵活指定UDP负载内的哈希字段：

1. DPDK rte_flow 动态配置 #

利用FlexRSS能力匹配UDP包，指定负载内隧道ID作为哈希因子，示例代码逻辑：

struct rte_flow_attr attr = {.ingress = 1};
struct rte_flow_item pattern[] = {
    RTE_FLOW_ITEM_TYPE_ETH(),
    RTE_FLOW_ITEM_TYPE_IPV4(),
    RTE_FLOW_ITEM_TYPE_UDP(),
    RTE_FLOW_ITEM_TYPE_END(),
};
struct rte_flow_action_rss rss = {
    .func = RTE_FLOW_ACTION_RSS_FUNC_TOEPLITZ,
    .queue_num = rte_eth_dev_count_rx_ports(port_id),
    .flex_conf = (struct rte_flow_action_rss_flex_conf) {
        .num_fields = 1,
        .fields = (struct rte_flow_action_rss_flex_field[]) {
            {
                .level = RTE_FLOW_LEVEL_L4_PAYLOAD,
                .offset = 0, // UDP负载起始位置的偏移，根据实际隧道ID位置调整
                .size = 4,
            },
            // 可选：添加源IP等字段，示例：
            // {.level = RTE_FLOW_LEVEL_L3, .offset = offsetof(struct rte_ipv4_hdr, src_addr), .size =4},
        },
    },
};
struct rte_flow_action actions[] = {
    {.type = RTE_FLOW_ACTION_TYPE_RSS, .conf = &rss},
    RTE_FLOW_ACTION_TYPE_END(),
};
struct rte_flow *flow = rte_flow_create(port_id, &attr, pattern, actions, NULL);

2. 固件静态配置 #

通过Mellanox专用工具开启FlexRSS并设置哈希规则：

# 开启FlexRSS功能
mlxconfig -d <pci_addr> set FLEX_RSS_EN=1
# 配置UDP4的自定义哈希字段，<offset>为UDP头结束到隧道ID的字节偏移
ethtool -N <ethX> rx-flow-hash udp4 custom:4@<offset>

关键注意事项 #

• 偏移准确性：必须通过抓包工具（如tcpdump）确认隧道ID在数据包中的精确位置，避免哈希规则失效。
• 驱动版本：建议使用DPDK 20.11及以上版本，确保ixgbe/mlx5驱动支持自定义RSS字段特性。
• 队列绑定：配置RSS后，需将RX队列绑定到对应CPU核心，保证同隧道ID数据包进入同一核心的独有缓冲区。
• 密钥一致性：若需跨网卡保持哈希结果一致，需手动设置相同的RSS密钥。

内容的提问来源于stack exchange，提问作者budoattack