环境信息 #

硬件配置

• 网络控制器：Qualcomm Atheros QCA6174 802.11ac无线网卡（版本32）
• 以太网控制器：Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express千兆以太网控制器（版本12）

软件配置

• 操作系统：Linux Mint Cinnamon 18.3 64位（基于Ubuntu）
• 内核：Linux kernel 4.10.0-38-generic
• GCC版本：(Ubuntu 5.4.0-6ubuntu1~16.04.9) 5.4.0 20160609

问题描述 #

我曾研究程序中多网卡的使用方法，根据知名网络编程指南的内容，调用setsockopt设置SO_BINDTODEVICE绑定指定网卡的操作应该十分简单。但实际测试中，即使做了这个绑定，只要有线连接可用，socket仍会走有线网络。想请教：

1. 是否可以编写单个程序实现多网卡的使用？还是必须编写两个独立程序并配合Linux路由命令？
2. 我的最终目标是开发一套客户端-服务器组播流软件，要求客户端具备负载均衡和网卡故障恢复功能，有没有可行的实现方案？

解决方案与建议 #

单个程序实现多网卡使用的可行性

完全可以在单个程序里实现多网卡的独立使用，不需要拆分多个程序。你遇到的SO_BINDTODEVICE不生效的问题，大概率是因为系统路由表的优先级覆盖了socket绑定的设置——有线网卡的默认路由优先级通常比无线网卡高，所以即使socket绑定了无线网卡，内核还是会优先选择有线路由。

要解决这个问题，你需要在绑定网卡的基础上，给每个socket单独设置路由策略：

1. 给每个网卡对应的socket设置IP_PKTINFO（IPv4）或IPV6_PKTINFO（IPv6）选项，这样可以在发送数据时指定源IP地址（对应网卡的IP）。
2. 配合使用SO_DONTROUTE选项，强制socket不使用系统路由表，而是直接通过绑定的网卡发送数据包。
3. 或者在程序中调用rtnetlink接口，动态为每个socket对应的源IP添加自定义路由规则，确保数据包走指定网卡。

简单的代码示例（以IPv4为例）：

// 绑定到指定网卡
struct ifreq ifr;
memset(&ifr, 0, sizeof(ifr));
strncpy(ifr.ifr_name, "wlan0", IFNAMSIZ-1);
if (setsockopt(sockfd, SOL_SOCKET, SO_BINDTODEVICE, &ifr, sizeof(ifr)) < 0) {
    perror("setsockopt SO_BINDTODEVICE");
}

// 设置IP_PKTINFO，指定源IP
int opt = 1;
if (setsockopt(sockfd, IPPROTO_IP, IP_PKTINFO, &opt, sizeof(opt)) < 0) {
    perror("setsockopt IP_PKTINFO");
}

// 发送时指定源地址和网卡
struct msghdr msg;
struct iovec iov;
struct cmsghdr *cmsg;
char control_buf[CMSG_SPACE(sizeof(struct in_pktinfo))];
struct in_pktinfo pktinfo;

memset(&msg, 0, sizeof(msg));
memset(&pktinfo, 0, sizeof(pktinfo));
pktinfo.ipi_spec_dst = src_addr; // 绑定网卡的IP地址
pktinfo.ipi_ifindex = if_nametoindex("wlan0"); // 网卡索引

msg.msg_control = control_buf;
msg.msg_controllen = sizeof(control_buf);
cmsg = CMSG_FIRSTHDR(&msg);
cmsg->cmsg_level = IPPROTO_IP;
cmsg->cmsg_type = IP_PKTINFO;
cmsg->cmsg_len = CMSG_LEN(sizeof(struct in_pktinfo));
memcpy(CMSG_DATA(cmsg), &pktinfo, sizeof(pktinfo));

iov.iov_base = send_buf;
iov.iov_len = send_len;
msg.msg_iov = &iov;
msg.msg_iovlen = 1;
msg.msg_name = &dest_addr;
msg.msg_namelen = sizeof(dest_addr);

sendmsg(sockfd, &msg, 0);

组播流客户端的负载均衡与故障恢复方案

针对你的组播流客户端需求，推荐以下实现思路：

1. 多socket实例管理：在单个程序中为每个网卡创建独立的socket，每个socket绑定对应的网卡并设置好路由策略，同时加入组播组。
2. 负载均衡策略：
   • 可以采用轮询发送的方式，将组播数据包轮流通过不同的网卡发送；
   • 或者根据每个网卡的实时带宽、延迟等指标动态调整发送比例（需要定期检测网卡状态）。
3. 故障恢复机制：
   • 定期通过ping、arping或者检测组播数据包的接收情况（如果有服务器反馈的话）来监控网卡状态；
   • 当检测到某块网卡故障时，立即将该socket从发送队列中移除，所有流量切换到正常网卡；
   • 同时启动网卡重连或恢复检测，一旦网卡恢复正常，再将其重新加入负载均衡队列。
4. 组播特定优化：
   • 每个socket加入组播组时，使用IP_ADD_MEMBERSHIP选项指定对应的网卡（通过struct ip_mreqn的imr_ifindex字段）；
   • 启用SO_REUSEADDR和SO_REUSEPORT选项，确保多个socket可以同时监听同一个组播地址和端口。

额外提示 #

• 注意权限问题：使用SO_BINDTODEVICE需要程序拥有CAP_NET_RAW权限，要么以root身份运行，要么给程序添加该权限（setcap cap_net_raw+ep ./your_program）。
• 对于内核版本4.10来说，上述的IP_PKTINFO和路由策略都是支持的，不需要担心兼容性问题。

内容的提问来源于stack exchange，提问作者Yurii Lampiha