Windows系统下如何筛选大体积.log日志文件？

你的脚本卡顿是因为Get-Content默认会把整个文件加载到内存里，1GB的日志文件会占用大量内存，导致系统卡顿甚至无响应。下面是两种优化方案，能大幅降低内存压力，提升处理效率：

方案一：PowerShell原生批量读取优化 #

用-ReadCount参数批量读取行，既控制内存占用，又比逐行读取效率更高：

Get-Content -Path 'filename.log' -ReadCount 1000 | ForEach-Object { $_ -match 'error' } | Set-Content -Path 'newFilename.log'

• -ReadCount 1000表示每次读取1000行到内存，你可以根据自身内存情况调整数值（比如2000、5000）
• 管道会自动处理批量行的匹配逻辑，最终写入目标文件

方案二：.NET流处理（内存占用极低，速度最快） #

直接调用.NET的流读写类，逐行读取并写入，内存仅保留当前处理的一行，适合超大型文件：

$reader = [System.IO.StreamReader]::new('filename.log')
$writer = [System.IO.StreamWriter]::new('newFilename.log')

while (-not $reader.EndOfStream) {
    $line = $reader.ReadLine()
    if ($line -match 'error') {
        $writer.WriteLine($line)
    }
}

$reader.Close()
$writer.Close()

额外提示 #

• 如果需要区分大小写匹配，把-match替换为-cmatch
• 如果要匹配error作为独立单词（避免匹配errorlog这类包含它的词汇），使用正则表达式\berror\b，例如$line -match '\berror\b'

内容的提问来源于stack exchange，提问作者ng1m4ntas