为Linux TUN接口启用GSO后性能下降的技术问询

性能下降的可能原因 #

• VNET头部未处理：启用IFF_VNET_HDR后，内核会为每个进出TUN接口的数据包添加/解析virtio_net_hdr结构。如果你的VPN程序完全忽略这个头部，直接读写原始IP包，会导致内核无法正确识别包结构，触发额外的错误校验、强制分片逻辑，大幅增加CPU开销，最终拖慢速率。
• 卸载标志不匹配：TUN_F_CSUM、TUN_F_TSO4/TSO6的启用前提是物理网卡支持对应的硬件卸载能力，且VPN程序能正确传递相关标志。比如物理网卡不支持TSO，强行启用会让内核回退到软件分片，反而比原来的分段更耗时；另外，如果启用了TUN_F_CSUM但程序未设置VIRTIO_NET_HDR_F_NEEDS_CSUM标志，内核会重新计算所有包的校验和，增加CPU负载。
• MTU配置不一致：TUN接口、物理网卡、VPN隧道的MTU未对齐。启用GSO后，内核会尝试发送更大的数据包，如果隧道MTU小于TUN接口的MTU，这些大包会在隧道内被强制分片，反而产生更多的小包开销，降低整体速率。

正确的GSO启用步骤 #

1. 修改TUN设备创建代码 #

在tun_alloc函数中添加IFF_VNET_HDR标志，同时保留IFF_NO_PI避免额外的包信息头部：

int tun_alloc(char *dev, int flags) {
    struct ifreq ifr;
    int fd, err;

    if ((fd = open("/dev/net/tun", O_RDWR)) < 0) {
        perror("open /dev/net/tun");
        return fd;
    }

    memset(&ifr, 0, sizeof(ifr));
    // 启用VNET头部，同时禁用包信息头部
    ifr.ifr_flags = flags | IFF_TUN | IFF_NO_PI | IFF_VNET_HDR;
    if (*dev) strncpy(ifr.ifr_name, dev, IFNAMSIZ);

    if ((err = ioctl(fd, TUNSETIFF, (void *)&ifr)) < 0) {
        perror("ioctl TUNSETIFF");
        close(fd);
        return err;
    }
    strcpy(dev, ifr.ifr_name);
    return fd;
}

2. 匹配物理网卡的卸载能力设置 #

先通过命令查询物理网卡支持的卸载选项：

ethtool -k enp5s0

只启用物理网卡实际支持的卸载标志，避免内核回退到软件处理：

unsigned int offload_flags = 0;

// 根据ethtool的查询结果，添加对应的标志
// 例如物理网卡支持TSO4、TSO6和校验和卸载
offload_flags |= TUN_F_CSUM | TUN_F_TSO4 | TUN_F_TSO6;

if (ioctl(tun_fd, TUNSETOFFLOAD, &offload_flags) < 0) {
    perror("ioctl TUNSETOFFLOAD");
    // 处理初始化失败逻辑
}

3. 修改VPN程序处理VNET头部 #

启用IFF_VNET_HDR后，必须在读写TUN接口时处理virtio_net_hdr结构：

• 读包流程：先读取VNET头部，再读取实际的IP数据包
• 写包流程：先写入正确配置的VNET头部，再写入IP数据包

示例代码片段：

#include <linux/virtio_net.h>

// 读包示例
struct virtio_net_hdr vhdr;
char pkt_buf[4096];
ssize_t ret;

// 先读取VNET头部
ret = read(tun_fd, &vhdr, sizeof(vhdr));
if (ret != sizeof(vhdr)) {
    // 处理读取错误
    continue;
}

// 读取实际IP包
ret = read(tun_fd, pkt_buf, sizeof(pkt_buf));
if (ret <= 0) {
    // 处理读取错误
    continue;
}
// 处理IP包逻辑...

// 写包示例
vhdr.flags = 0;
// 如果VPN程序已经完成校验和计算，可设置VIRTIO_NET_HDR_F_NEEDS_CSUM
// vhdr.flags |= VIRTIO_NET_HDR_F_NEEDS_CSUM;
vhdr.gso_type = VIRTIO_NET_HDR_GSO_TCPV4; // 针对TCPv4启用GSO
vhdr.gso_size = 1460; // 对应MTU=1500的TCP分段大小（1500-20IP-20TCP=1460）

// 先写入VNET头部
ret = write(tun_fd, &vhdr, sizeof(vhdr));
if (ret != sizeof(vhdr)) {
    // 处理写入错误
    continue;
}

// 写入IP包
ret = write(tun_fd, pkt_buf, pkt_len);

4. 对齐MTU配置 #

设置TUN接口的MTU为物理网卡MTU减去VPN协议的额外头部开销，例如物理网卡MTU=1500，VPN头部占20字节：

ip link set tun0 mtu 1480

确保VPN程序不会主动对超过该MTU的数据包进行分片，让内核通过GSO处理大包。

排查验证步骤 #

• 查看TUN接口的错误统计，确认是否存在包处理错误：

  ip -s link show tun0
  

  如果rx_errors或tx_errors持续增加，说明VNET头部处理或卸载标志配置有问题。
• 用perf top查看CPU占用，定位是否有内核函数（如校验和计算、分片逻辑）占用过高。
• 用tcpdump -i tun0抓包，检查数据包的头部结构是否正确，是否存在异常分片。

内容的提问来源于stack exchange，提问作者NRagot