CentOS 7多网卡IP与MAC地址映射异常，所有流量仅单网卡传输问题求助

各位大佬好，我遇到了一个CentOS 7多网卡的诡异问题，折腾了好一阵没找到根源，想请大家帮忙分析下：

环境说明 #

• 有多台CentOS 7服务器，每台配备4个10GB网卡，分别连接到两台Cisco Nexus交换机
• 所有网卡的IP都在同一个VLAN/网段下，其中一块网卡还配置了secondary IP

服务器网卡配置详情 #

2: ens5f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
link/ether 68:05:ca:2d:12:84 brd ff:ff:ff:ff:ff:ff
inet 172.20.1.203/24 brd 172.20.1.255 scope global ens5f0
valid_lft forever preferred_lft forever

3: ens5f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
link/ether 68:05:ca:2d:12:85 brd ff:ff:ff:ff:ff:ff
inet 172.20.1.204/24 brd 172.20.1.255 scope global ens5f1
valid_lft forever preferred_lft forever

4: ens4f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
link/ether 68:05:ca:2d:06:10 brd ff:ff:ff:ff:ff:ff
inet 172.20.1.200/24 brd 172.20.1.255 scope global ens4f0
valid_lft forever preferred_lft forever
inet 172.20.1.201/24 brd 172.20.1.255 scope global secondary ens4f0:1
valid_lft forever preferred_lft forever

5: ens4f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
link/ether 68:05:ca:2d:06:11 brd ff:ff:ff:ff:ff:ff
inet 172.20.1.202/24 brd 172.20.1.255 scope global ens4f1
valid_lft forever preferred_lft forever

遇到的问题 #

1. ARP表异常：同VLAN内的其他设备或交换机ping所有IP都能通，但所有IP对应的MAC地址居然都是ens4f0的MAC！交换机上的ARP表显示如下：

172.20.1.200    00:01:56  6805.ca2d.0610  Vlan720
172.20.1.201    00:15:00  6805.ca2d.0610  Vlan720
172.20.1.202    00:14:56  6805.ca2d.0610  Vlan720
172.20.1.203    00:14:53  6805.ca2d.0610  Vlan720
172.20.1.204    00:14:48  6805.ca2d.0610  Vlan720

2. 指定网卡ping无响应：在本机尝试指定其他网卡ping网关（172.20.1.1）完全收不到回复，比如：

ping -I ens5f1 172.20.1.1
PING 172.20.1.1 (172.20.1.1) from 172.20.1.204 ens5f1: 56(84) bytes of data.
^C
--- 172.20.1.1 ping statistics ---
51 packets transmitted, 0 received, 100% packet loss, time 51204ms

3. 流量仅单网卡传输：所有流量都只走ens4f0这一张网卡，其他网卡几乎没有数据传输，nmon的监控结果如下：

┌nmon─16g─────────────────────Hostname=zfs1─────────Refresh= 2secs ───19:38.03───────────────┐
│ Network I/O ───────────────────────────────────────────────────────────────────────────────│
│I/F Name Recv=KB/s Trans=KB/s packin packout insize outsize Peak->Recv Trans                │
│  ens5f1      0.0       0.0       0.5    0.0    60.0    0.0        0.0      0.0             │
│      lo      0.0       0.0       0.0    0.0     0.0    0.0        0.0      0.0             │
│  ens4f0    405.4      45.8     337.9  128.5  1228.6  365.0      511.4    144.9             │
│  ens5f0      0.0       0.0       0.5    0.0    60.0    0.0        0.0      0.0             │
│  ens4f1      0.2       0.0       3.0    0.0    61.3    0.0        0.3      0.0             │
│────────────────────────────────────────────────────────────────────────────────────────────│

补充说明 #

• 我没有配置LACP或者其他会导致单网卡承载流量的聚合策略
• 不同硬件的多台服务器都出现了这个问题，连接的两台Nexus交换机之间配置了trunk端口

有没有大佬能给点排查思路或者解决方案？万分感谢！

备注：内容来源于stack exchange，提问作者user1955162