调用三次File.Copy复制2万+文件过慢，求同网络复制优化方案

嘿，我来帮你捋捋这个问题——2万多文件复制花2-3小时确实有点慢，咱们先拆解现有操作的潜在问题，再聊聊能提速的具体方案：

• 单线程串行复制：如果你的代码是逐个调用File.Copy处理文件，那单线程会把大量时间浪费在等待网络IO响应上，完全没利用到系统和网络的并行处理能力，这是最大的性能黑洞。
• 重复目录扫描：按*.EXT1→*.EXT2→*.EXT3分批扫描+复制，等于把整个网络目录遍历了三次，而网络目录的遍历本身就比本地慢不少，平白增加了额外开销。
• File.Copy默认配置：默认的File.Copy没有针对网络场景做优化，比如缓冲区大小可能不是最优，也没利用SMB协议的多通道等特性。

1. 并行处理同类型文件 #

把同一扩展名的文件放到并行任务里处理，充分榨取网络带宽和系统资源，但要注意控制并行度（太多线程会导致IO竞争，反而拖慢速度），建议8-16个线程比较合适：

var ext1Files = utility.GetFilesFromSource("*.EXT1");
// 限制最大并行数为10，可根据你的网络/系统性能调整
Parallel.ForEach(ext1Files, new ParallelOptions { MaxDegreeOfParallelism = 10 }, file =>
{
    var destPath = Path.Combine(destDir, Path.GetFileName(file));
    File.Copy(file, destPath, overwrite: true);
});

如果有重名文件的情况，记得提前处理覆盖逻辑，避免冲突。

2. 一次性扫描+分组处理 #

先一次性扫完所有目标扩展名的文件，再按扩展名分组处理，这样只需要遍历一次网络目录，减少不必要的遍历开销：

// 一次性获取所有目标扩展名的文件
var allFiles = Directory.GetFiles(sourceDir, "*.*", SearchOption.TopDirectoryOnly)
                        .Where(f => 
                            f.EndsWith(".EXT1", StringComparison.OrdinalIgnoreCase) || 
                            f.EndsWith(".EXT2", StringComparison.OrdinalIgnoreCase) || 
                            f.EndsWith(".EXT3", StringComparison.OrdinalIgnoreCase))
                        .GroupBy(f => Path.GetExtension(f).ToUpper());

// 按要求的顺序处理分组
var orderedExts = new[] { ".EXT1", ".EXT2", ".EXT3" };
foreach (var ext in orderedExts)
{
    var fileGroup = allFiles.First(g => g.Key == ext);
    Parallel.ForEach(fileGroup, new ParallelOptions { MaxDegreeOfParallelism = 10 }, file =>
    {
        var destPath = Path.Combine(destDir, Path.GetFileName(file));
        File.Copy(file, destPath, overwrite: true);
    });
}

3. 自定义带缓冲区的复制逻辑 #

File.Copy的默认缓冲区可能不适合网络场景，自定义一个带大缓冲区的复制方法，能减少IO操作的次数：

public static void CopyWithOptimizedBuffer(string sourcePath, string destPath, int bufferSize = 1024 * 128)
{
    using (var sourceStream = new FileStream(sourcePath, FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize))
    using (var destStream = new FileStream(destPath, FileMode.Create, FileAccess.Write, FileShare.None, bufferSize))
    {
        sourceStream.CopyTo(destStream, bufferSize);
    }
}

可以把这个方法替换掉原来的File.Copy，缓冲区大小建议选64KB-256KB之间，根据你的网络情况调整。

4. 用系统级工具替代（推荐） #

如果业务允许，直接用Windows自带的robocopy命令行工具，它是专门针对大量文件复制优化的系统工具，支持并行复制、断点续传、跳过已存在文件等功能，效率比自己写的代码高很多：

robocopy \\sourceSharePath \\destSharePath *.EXT1 *.EXT2 *.EXT3 /S /MT:16 /R:2 /W:5

参数说明：

• /MT:16：启用16个线程并行复制
• /S：复制子目录（如果你的文件有子目录结构的话）
• /R:2：复制失败时重试2次
• /W:5：重试间隔5秒

你可以在代码里通过Process.Start调用这个命令，省心又高效。

• 网络环境排查：先确认你的网络带宽（比如千兆网络理论能到100MB/s左右），如果是百兆网络或者共享服务器负载很高，那复制速度肯定上不去；另外确保SMB协议版本是3.0+，它支持多通道等提速特性。
• 跳过不必要的复制：如果目标目录已经存在相同大小的文件，可以先判断后跳过，避免重复复制浪费时间。

内容的提问来源于stack exchange，提问作者user7101285