10GbE网络环境下跨服务器文件拷贝速度极慢的问题排查求助

API 探路者

2026-4-21

我遇到了一个头疼的问题：在全10GbE的本地网络里跨服务器拷贝数据，速度慢得完全不符合预期。先给大家说下环境：

所有设备都在10.0.2.0子网，全是10GbE接口
同一VLAN，已经启用了9000字节的巨帧

我需要在两台Supermicro Linux服务器之间至少传输两次16TB的数据，两台服务器都是用LSI卡做的RAID6阵列，所以特别希望拷贝效率能拉满，但目前的结果实在让人失望。

目前我测到的最好成绩是：拷贝49GB数据用了9分14秒。为了排除交换机的影响，我直接把两台服务器用光纤+SFP+接口连起来，用NFS挂载接收端的文件系统再拷贝，结果速度只提升了一点点——49GB用了8分46秒，完全没达到预期。

对比之下，在目标服务器本地，从SSD拷贝同样49GB数据到RAID6阵列只需要1分14秒，这说明存储本身的性能是没问题的。

更奇怪的是，用iperf3测网络带宽，结果看起来完全正常：

iperf3 -c 10.0.2.18

Connecting to host 10.0.2.18, port 5201

[  5] local 10.0.2.16 port 57632 connected to 10.0.2.18 port 5201

[ ID] Interval           Transfer     Bitrate         Retr  Cwnd

[  5]   0.00-1.00   sec  1.15 GBytes  9.90 Gbits/sec    0   2.85 MBytes

[  5]   1.00-2.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes

[  5]   2.00-3.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes

[  5]   3.00-4.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes

[  5]   4.00-5.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes

[  5]   5.00-6.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.00 MBytes

[  5]   6.00-7.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.00 MBytes

[  5]   7.00-8.00   sec  1.15 GBytes  9.90 Gbits/sec    0   3.16 MBytes

[  5]   8.00-9.00   sec  1.15 GBytes  9.89 Gbits/sec    0   3.16 MBytes

[  5]   9.00-10.00  sec  1.15 GBytes  9.90 Gbits/sec    0   3.16 MBytes

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval           Transfer     Bitrate         Retr

[  5]   0.00-10.00  sec  11.5 GBytes  9.90 Gbits/sec    0             sender

[  5]   0.00-10.04  sec  11.5 GBytes  9.85 Gbits/sec                  receiver

iperf Done.

可是实际用NFS拷贝的速度就完全不对：

root@kitkat:~/.ssh# time cp -a /mnt/vmfs/CO_ictDC /mnt/smicro1/TEST

real    8m46.683s
user    0m0.089s
sys     1m27.369s

而本地拷贝的速度是：

root@esxidev:~# time cp -a ./CO_ictDC /mnt/raid6/TEST/

real    1m14.693s
user    0m0.307s
sys     1m1.827s

有没有大佬能给点排查方向？

补充几个评论区朋友问的问题：

拷贝确实已经完成，我仔细核对过文件内容
直接连接时用的是光纤+SFP+接口，没有走交换机
试过rsync、scp，速度比cp还慢一点；FTP更拉胯，只有大概100MB/s的速度
两台服务器只接了10GbE网卡，之前是连在TP-Link TL-SX3008F交换机上，这个交换机没有1GbE或RJ45端口

备注：内容来源于stack exchange，提问作者Sniffer