PowerShell优化CSV行移除效率：从源CSV排除已迁移文件记录

核心性能瓶颈分析 #

原脚本的致命问题是每次处理迁移CSV的一行记录，就重复导入并遍历整个源CSV文件。按当前文件规模（77810条迁移记录 + 88900条源记录），相当于执行了77810次「读取88900行数据」的操作，计算量呈指数级增长，这是导致速度极慢的根本原因。

优化思路 #

只读取两个CSV文件各一次：

• 先将已迁移文件的路径存入哈希表（Hashtable），利用哈希表O(1)的快速查找特性
• 一次性遍历源CSV，筛选出不在哈希表内的记录，直接导出结果

优化后的PowerShell脚本 #

# 1. 读取已迁移文件CSV，将FullPath存入哈希表用于快速查找
$migratedPaths = @{}
Import-Csv -Path 'C:\Temp\CFP Didnts\Test\SPeopleMigratedFiles.csv' | ForEach-Object {
    $migratedPaths[$_.FullPath] = $true
}

# 2. 读取源CSV，筛选未迁移记录并导出
Import-Csv -Path 'C:\temp\CFP Didnts\Test\S People Commissioning Full Files.csv' |
    Where-Object { -not $migratedPaths.ContainsKey($_.FullName) } |
    Export-Csv -NoTypeInformation -Path 'C:\temp\CFP Didnts\Test\UnmigratedFiles.csv' -Force

额外优化建议 #

• 路径格式标准化：如果源CSV的FullName和迁移CSV的FullPath存在格式差异（比如大小写、末尾斜杠），可提前统一格式避免匹配失败：

  # 存入哈希表时标准化路径
  $standardizedPath = $_.FullPath.ToLower().TrimEnd('\')
  $migratedPaths[$standardizedPath] = $true
  
  # 筛选时同步标准化源路径
  $sourceStandardizedPath = $_.FullName.ToLower().TrimEnd('\')
  -not $migratedPaths.ContainsKey($sourceStandardizedPath)
  

• 保留源文件完整性：原脚本反复覆盖源CSV，既不安全又增加IO开销，优化脚本直接生成新的结果文件，避免破坏原始数据。
• 内存占用控制：当前文件规模无需分批处理，若后续遇到超大规模文件，可考虑使用ReadCount参数分批读取源CSV，但会增加代码复杂度。

内容的提问来源于stack exchange，提问作者Dominic Gibson