PowerShell去除重复行远慢于WSL？求技术差异解析

针对你遇到的场景——4500万行/1GB的大文件，WSL下awk仅用2分钟完成去重，而PowerShell的gc huge.txt | sort | get-unique15分钟无输出且文件大小为0——核心差异在于两者的处理逻辑、内存模型和工具设计定位，具体如下：

1. 处理逻辑与内存占用天差地别 #

• awk的!seen[$0]++实现：
  逐行读取文件，用哈希表记录每行的出现状态，只保留首次出现的行。处理时边读边输出，不需要把整个文件加载到内存，内存占用仅由去重后的唯一行数量决定（这里是1300万行），内存压力低，且能实时向输出文件写入内容，你能看到文件大小逐步增长。
• PowerShell的sort+get-unique实现：
  gc（Get-Content）默认逐行读取但最终会把所有行加载到内存；sort（Sort-Object）需要对全部4500万行完成排序后，才会把结果传递给get-unique；get-unique必须等排序完成后才能遍历去重。整个流程是全量加载→排序→去重→一次性写入，这就导致处理完成前输出文件始终是0字节，且内存占用极高（要容纳全部4500万行数据），大文件场景下极易出现性能瓶颈。

2. 工具设计定位与底层优化不同 #

• awk是UNIX/Linux生态专为文本流优化的工具，底层用C实现，针对行处理做了大量精简优化，执行效率极高，内存管理也更紧凑。
• PowerShell的Get-Content、Sort-Object、Get-Unique是通用型cmdlet，设计上优先兼顾灵活性而非极致性能。PowerShell管道本身存在对象封装与传递的额外开销，且Sort-Object默认针对.NET对象排序，对纯文本行的处理没有针对性优化，大文件场景下性能劣势被放大。

3. 输出时机差异 #

awk处理时，每遇到新的唯一行就立即写入输出文件；而PowerShell的管道中，sort必须完成全量排序后才会向下传递数据，get-unique处理完所有数据后才会一次性写入文件，因此前期输出文件始终为0字节。

PowerShell下的大文件去重优化方案 #

如果必须用PowerShell处理，可尝试以下两种方式：

• 手动模拟awk的哈希表去重逻辑，避免全量排序：

  $seen = @{}
  Get-Content huge.txt -ReadCount 0 | ForEach-Object {
      if (-not $seen.ContainsKey($_)) {
          $seen[$_] = $true
          $_
      }
  } | Out-File new.txt
  

• 直接调用WSL的awk命令，复用高效实现：

  wsl awk '!seen[$0]++' huge.txt > new.txt
  

内容的提问来源于stack exchange，提问作者Saeed