嘿，作为PowerShell新手能写出功能可用的代码已经超棒了！你的思路没问题，但确实存在几个拖慢效率的关键点，咱们来一步步优化，让脚本跑得飞起：

原脚本的核心问题 #

• 仅通过文件名判断重复：这太不准确啦！重名但内容完全不同的文件会被误判，而且真正内容相同但文件名不同的文件会被漏掉
• 嵌套循环+低效的重复索引处理：两层For循环加上每次遍历$arrDupNum数组跳过元素，时间复杂度是O(n²)，文件数量多的时候会慢到离谱
• 频繁写入文件：每次用Add-Content都会打开、写入、关闭文件，IO操作的开销积少成多，也是拖慢速度的原因

优化后的实现思路 #

1. 先按文件大小分组：大小不一样的文件绝对不可能是重复的，这一步能直接过滤掉绝大多数非重复文件，大幅减少后续计算量
2. 对同大小文件计算哈希值：用文件内容的哈希值（比如SHA256）来确认是否真的重复，这是判断文件重复的可靠标准
3. 用分组操作替代嵌套循环：用Group-Object直接按哈希值分组，避免手动嵌套循环的低效操作
4. 批量写入结果：先把所有重复文件的信息收集到内存里，最后一次性写入文件，减少IO开销

优化后的代码 #

# 定义目标路径和输出文件路径
$targetPath = "My Path"
$outputCsvPath = "H:\Desktop\DuplicateFiles.csv"

# 1. 获取所有文件，按大小分组，过滤掉只有单个文件的组（即无重复的文件）
$fileGroups = Get-ChildItem -Path $targetPath -Recurse -File | 
    Group-Object -Property Length | 
    Where-Object { $_.Count -gt 1 }

# 2. 遍历每个大小组，计算文件哈希值，再按哈希值分组（哈希相同则内容相同）
$duplicateGroups = foreach ($sizeGroup in $fileGroups) {
    $sizeGroup.Group | 
        Select-Object FullName, @{Name = 'FileHash'; Expression = {
            # 计算SHA256哈希，比MD5更安全，速度也不差
            (Get-FileHash -Path $_.FullName -Algorithm SHA256).Hash
        }} | 
        Group-Object -Property FileHash | 
        Where-Object { $_.Count -gt 1 }
}

# 3. 整理重复文件信息，转换成适合CSV的格式
$outputData = foreach ($dupGroup in $duplicateGroups) {
    $dupFiles = $dupGroup.Group.FullName
    # 为每个重复组生成条目，把所有重复路径放在一行，或者每个路径单独一行（这里选后者更易读）
    foreach ($filePath in $dupFiles) {
        [PSCustomObject]@{
            DuplicateGroupID = $dupGroup.Name
            FilePath = $filePath
        }
    }
}

# 4. 批量写入CSV文件
$outputData | Export-Csv -Path $outputCsvPath -NoTypeInformation -Encoding UTF8

Write-Host "重复文件查找完成，结果已保存到 $outputCsvPath"

额外优化小贴士 #

• 如果文件特别多，还可以用-Parallel参数（PowerShell 7+支持）来并行计算哈希值，进一步提速：把计算哈希的部分改成ForEach-Object -Parallel { ... }
• 可以根据需求调整哈希算法，比如用MD5会比SHA256快一点，但安全性稍低，不过用于文件重复判断完全足够
• 如果只需要输出重复组的信息（而不是每个文件单独一行），可以调整$outputData的生成逻辑，把同一组的文件路径用分号分隔

内容的提问来源于stack exchange，提问作者bman