如何用PowerShell基于CSV快速实现大文本文件的查找替换？

问题背景 #

需要向供应商发送日志前执行脱敏处理，已生成包含约500行替换对的CSV文件，格式如下：

"Node","Redaction"
"Server1","Redacted-Node-1"
"Server2.domain.local","Redacted-Node-2"
"Server3","Redacted-Node-3"

现有脚本通过遍历替换对逐次处理文件内容，在小文件上表现正常，但处理5万行的大文件时，每行替换耗时约1秒，性能极差。原脚本代码：

$redactions = Import-Csv $nodeRedactions 
$fileContent = Get-Content $fullpath
$n = 1
foreach ($row in $redactions)
{ 
    #Write-Host $n + " " + $fullpath
    $field1 = $row.Node 
    $field2 = $row.Redaction
    $fileContent = $fileContent | Foreach-Object { $_ -replace $field1,$field2}
    #$n= $n + 1 
}
#Create the output file complete with redactions
$fileContent | Out-File $outputFile

核心性能瓶颈 #

原脚本的问题在于遍历500次文件内容，每次都通过管道逐行执行替换操作，管道和多次遍历带来了巨大的性能开销。

优化方案 #

1. 合并替换规则为单次正则匹配 #

将所有需要替换的Node值合并成一个正则表达式，通过一次遍历完成所有替换，避免多次重复处理文件内容。同时使用哈希表存储映射关系，提升替换效率。

2. 高效读取文件内容 #

使用Get-Content -Raw参数一次性读取整个文件内容，减少IO操作的次数，相比逐行读取能大幅提升速度。

优化后的代码 #

# 导入替换规则CSV
$redactions = Import-Csv $nodeRedactions

# 构建替换哈希表，并转义Node中的正则特殊字符（如.、*等）
$replacementMap = @{}
$nodePatterns = $redactions | ForEach-Object {
    $escapedNode = [regex]::Escape($_.Node)
    $replacementMap[$escapedNode] = $_.Redaction
    $escapedNode
}

# 合并所有Node为一个正则匹配模式（用|分隔，匹配任意一个Node）
$combinedPattern = ($nodePatterns -join '|')

# 一次性读取整个文件内容
$fileContent = Get-Content $fullpath -Raw

# 执行一次性替换：匹配到任意Node时，从哈希表中取出对应的脱敏值
$redactedContent = [regex]::Replace($fileContent, $combinedPattern, {
    param($match)
    $replacementMap[$match.Value]
})

# 输出脱敏后的文件
$redactedContent | Out-File $outputFile -Encoding utf8

额外优化点 #

• 如果需要大小写不敏感匹配，可以在[regex]::Replace中添加正则选项：

  $redactedContent = [regex]::Replace($fileContent, $combinedPattern, {
      param($match)
      $replacementMap[$match.Value]
  }, [System.Text.RegularExpressions.RegexOptions]::IgnoreCase)
  

• 若文件编码有特殊要求，调整Out-File的-Encoding参数，确保输出文件编码正确。

内容的提问来源于stack exchange，提问作者BaldFeegle