基于长度与哈希查找重复文件:MD5算法修改位置咨询
重复文件查找代码的哈希算法说明及优化
你的代码已经正确使用MD5哈希算法了,修改哈希算法的核心位置就是Get-FileHash命令的-Algorithm参数——你现在写的-Algorithm MD5就是指定用MD5的写法。如果之前你用的是SHA1、SHA256这类其他算法,替换这里的算法名称就能完成切换。
给你几个额外的速度优化小技巧:
- 跳过无权限访问的文件:在
Get-ChildItem里加上-ErrorAction SilentlyContinue,避免因权限问题中断流程 - 过滤小文件:提前跳过极小的文件(比如1KB以下),这类文件就算重复,哈希计算的收益也低,可在
Get-ChildItem后加Where-Object { $_.Length -gt 1024 }(数值可按需调整) - 减少不必要的管道操作:尽量合并过滤逻辑,减少管道传递的对象数量
优化后的代码示例:
$srcDir = "C:\Users\Dell\Documents" Measure-Command { Get-ChildItem -Path $srcDir -File -Recurse -ErrorAction SilentlyContinue | Where-Object { $_.Length -gt 1024 } | Group-Object -Property Length | Where-Object { $_.Count -gt 1 } | Select-Object -ExpandProperty Group | Get-FileHash -Algorithm MD5 | Group-Object -Property Hash | Where-Object { $_.Count -gt 1 } | ForEach-Object { $_.Group | Select-Object Path, Hash } }
内容的提问来源于stack exchange,提问作者jamyandy_1500
相关产品推荐
相关产品推荐

