PowerShell日志文件替换脚本效率优化求助

云上老周

2026-6-21

大日志文件查找替换的高效实现方案

原脚本的问题在于Get-Content默认会将整个文件内容加载到内存中，处理100MB以上的大文件时，会导致内存占用过高、运行缓慢。以下是几种低内存、高效率的替代方案：

方案1：逐行处理+临时文件（简单修改）

通过逐行读取、处理并写入临时文件，最后替换原文件，避免一次性加载整个文件到内存：

$inputFile = "D:\path\error.log"
$tempFile = "$inputFile.tmp"

# 逐行处理并写入临时文件
Get-Content -Path $inputFile | ForEach-Object {
    $_ -Replace '(?<=password\=)(.*)(?=.$)', 'secret'
} | Set-Content -Path $tempFile -Encoding UTF8

# 替换原文件（先删除再移动，确保原子性）
Remove-Item -Path $inputFile -Force
Move-Item -Path $tempFile -Destination $inputFile -Force

注意：指定-Encoding参数确保输出文件编码与原文件一致，避免乱码。

方案2：使用.NET流操作（最高效）

直接调用.NET的StreamReader和StreamWriter类，以流的方式逐行处理，内存占用极低，适合超大型文件：

$inputFile = "D:\path\error.log"
$tempFile = "$inputFile.tmp"
$replaceRegex = [regex]'(?<=password\=)(.*)(?=.$)'

try {
    # 初始化流读取器和写入器
    $reader = [System.IO.StreamReader]::new($inputFile)
    $writer = [System.IO.StreamWriter]::new($tempFile, $false, [System.Text.Encoding]::UTF8)

    # 逐行读取、替换、写入
    while (-not $reader.EndOfStream) {
        $line = $reader.ReadLine()
        $modifiedLine = $replaceRegex.Replace($line, 'secret')
        $writer.WriteLine($modifiedLine)
    }
}
finally {
    # 确保流被关闭，避免文件占用
    $reader.Close()
    $writer.Close()
}

# 替换原文件
Remove-Item -Path $inputFile -Force
Move-Item -Path $tempFile -Destination $inputFile -Force