使用Robocopy或Powershell快速复制数百万JPG到扁平目录的最优方案？

你原本使用的PowerShell脚本运行缓慢主要有三点原因：

• Get-ChildItem 搭配-Path "路径\*" + -Include的检索写法效率极低，递归遍历大量文件时会产生额外的性能开销
• 管道逐对象传递给Copy-Item单线程处理，处理大量文件时速度瓶颈明显
• -Verbose参数逐行打印操作日志，会进一步拖慢执行速度

方案1：优化版PowerShell原生脚本 #

适合文件量较小（万级以下）的场景，不需要调用其他工具，改完后速度相比原脚本提升5倍以上：

# 按需修改源路径和目标路径
$sourcePath = "R:\XXX"
$targetPath = "C:\destination"

# 自动创建不存在的目标目录
if (-not (Test-Path $targetPath)) {
    New-Item -ItemType Directory -Path $targetPath | Out-Null
}

# 使用-Filter替代-Include，在文件系统层直接过滤，检索效率大幅提升
$allJpgFiles = Get-ChildItem -Path $sourcePath -Filter *.jpg -Recurse -File
foreach ($jpg in $allJpgFiles) {
    $targetFilePath = Join-Path $targetPath $jpg.Name
    # 仅复制目标目录不存在的文件
    if (-not (Test-Path $targetFilePath)) {
        Copy-Item -Path $jpg.FullName -Destination $targetFilePath
    }
}

方案2：Robocopy实现高速扁平复制 #

Robocopy是Windows自带的系统级拷贝工具，IO做过深度优化，多线程处理能力远强于PowerShell原生的Copy-Item，适合十万级甚至更多文件的大场景。Robocopy默认会保留目录结构，我们可以配合简单的遍历实现扁平拷贝，同时满足跳过重复文件的要求：

# 按需修改源路径和目标路径
$sourcePath = "R:\XXX"
$targetPath = "C:\destination"

if (-not (Test-Path $targetPath)) {
    New-Item -ItemType Directory -Path $targetPath | Out-Null
}

Get-ChildItem -Path $sourcePath -Filter *.jpg -Recurse -File | ForEach-Object {
    # /xo参数：跳过目标已存在且更新时间不早于源的文件，刚好满足去重需求
    # 后面的/nfl /ndl /njh /njs是关闭冗余日志输出，不需要可以删掉
    robocopy $_.DirectoryName $targetPath $_.Name /xo /nfl /ndl /njh /njs
}

如果源目录中不同子文件夹下存在同名JPG文件，上述脚本只会保留第一个被检索到的文件，后续同名文件会被自动跳过。如果需要保留所有文件，可以修改目标文件命名规则，比如在文件名后拼接父目录名、时间戳或者序号避免重名。

内容的提问来源于stack exchange，提问作者Julian