PowerShell合并文件并去重性能低下问题排查与优化

为什么800MB文件操作会耗尽内存？ #

1. Get-Content（即cat）的默认行为：PowerShell 5.1中Get-Content默认会将整个文件内容一次性加载到内存中，800MB的文本行转换为.NET字符串后，会因为每个字符串的对象开销、编码等因素占用远大于800MB的内存，多文件场景下内存占用还会叠加。
2. Sort-Object -unique的内存需求：该命令需要将所有输入行全部加载到内存中完成排序和去重操作，会进一步放大内存占用，直接耗尽16GB内存不足为奇。
3. 重定向的缓存机制：即使单纯执行cat *.txt >output.log，PowerShell的输出重定向默认会先将所有内容缓存到内存，再一次性写入文件，而非流式写入，因此依然会占用大量内存。

高效解决方法 #

1. 流式去重合并（最低内存占用） #

直接使用.NET流处理类，逐行读取、检查去重并写入，全程不加载全部内容到内存：

# 初始化哈希表存储已出现的行，保证O(1)查找效率
$seenLines = [System.Collections.Generic.HashSet[string]]::new()
$outputWriter = [System.IO.StreamWriter]::new("output.txt")

# 遍历所有目标txt文件
Get-ChildItem -Filter *.txt | ForEach-Object {
    $fileReader = [System.IO.StreamReader]::new($_.FullName)
    # 逐行读取文件内容
    while (-not $fileReader.EndOfStream) {
        $currentLine = $fileReader.ReadLine()
        # 哈希表Add方法返回是否成功添加（即该行未出现过）
        if ($seenLines.Add($currentLine)) {
            $outputWriter.WriteLine($currentLine)
        }
    }
    $fileReader.Close()
}

$outputWriter.Close()

该方法的内存占用仅取决于去重后唯一行的总大小，远低于原始文件大小。

2. 去重后排序（若需有序结果） #

如果需要最终结果是排序后的，先通过流式去重生成临时文件，再对临时文件排序，避免一次性加载所有原始内容：

# 第一步：流式去重到临时文件
$seenLines = [System.Collections.Generic.HashSet[string]]::new()
$tempFilePath = [System.IO.Path]::GetTempFileName()
$tempWriter = [System.IO.StreamWriter]::new($tempFilePath)

Get-ChildItem -Filter *.txt | ForEach-Object {
    $fileReader = [System.IO.StreamReader]::new($_.FullName)
    while (-not $fileReader.EndOfStream) {
        $currentLine = $fileReader.ReadLine()
        if ($seenLines.Add($currentLine)) {
            $tempWriter.WriteLine($currentLine)
        }
    }
    $fileReader.Close()
}

$tempWriter.Close()

# 第二步：对临时文件排序并写入最终文件
Get-Content -Path $tempFilePath | Sort-Object | Set-Content -Path "output_sorted.txt"

# 清理临时文件
Remove-Item -Path $tempFilePath

3. 优化管道命令（轻量改进） #

如果习惯用PowerShell管道，可通过Get-Content -ReadCount参数批量读取行，降低一次性加载的内存压力：

$seenLines = [System.Collections.Generic.HashSet[string]]::new()
# 每次读取1000行，控制内存峰值
Get-Content -Path *.txt -ReadCount 1000 | ForEach-Object {
    foreach ($line in $_) {
        if ($seenLines.Add($line)) {
            $line
        }
    }
} | Set-Content -Path "output.txt"

内容的提问来源于stack exchange，提问作者Preposterone