PowerShell 7解析大日志文件过慢，寻求替代Get-Content的优化方案

针对你处理200个10MB日志文件的场景，原脚本的性能瓶颈主要在全文件加载、低效数组拼接和单线程处理上，以下是针对性的优化方案：

核心优化点 #

• 替换Get-Content为流式读取：用.NET的[System.IO.File]::ReadLines()直接逐行流式处理，无需将整个文件加载到内存，同时跳过前5行的逻辑可以直接整合到读取过程中，避免额外的内存开销。
• 用哈希表提前去重：[HashSet[string]]（并行场景用ConcurrentHashSet）可以自动实现元素唯一性，比最后统一用Select-Object -Unique效率高几个数量级，还能减少中间内存占用。
• 并行处理文件：利用PowerShell 7的ForEach-Object -Parallel并行处理多个日志文件，充分利用多核CPU资源。
• 避免低效操作：去掉不必要的Write-Host输出（控制台IO非常耗时），优化进度提示逻辑。

优化后的完整并行脚本 #

# 初始化线程安全的哈希表用于存储唯一IP
$uniqueIps = [System.Collections.Concurrent.ConcurrentHashSet[string]]::new()

$LogFilePath = "C:\LOGS\*.log"
$LogFiles = Get-Item $LogFilePath
$totalFiles = $LogFiles.Count

# 并行处理每个日志文件，可根据CPU核心数调整ThrottleLimit
$LogFiles | ForEach-Object -Parallel {
    $file = $_
    $fileIndex = $using:LogFiles.IndexOf($_) + 1
    $total = $using:totalFiles

    # 更新进度提示
    Write-Progress -Activity "Collecting Log details" -Status "Processing file $fileIndex of $total - $($file.Name)" -PercentComplete ($fileIndex / $total * 100)

    # 流式读取文件并跳过前5行
    $lines = [System.IO.File]::ReadLines($file.FullName) | Select-Object -Skip 5

    foreach ($line in $lines) {
        # 分割行获取remote-endpoint字段（索引5），提取IP部分
        $socket = $line.Split(',')[5]
        if (-not [string]::IsNullOrEmpty($socket)) {
            $ip = $socket.Split(':')[0]
            # 添加到线程安全哈希表自动去重
            [void]$using:uniqueIps.Add($ip)
        }
    }
} -ThrottleLimit 8

# 排序并输出结果
$sortedIps = $uniqueIps | Sort-Object

Write-Host "List of noted remote IPs:" -ForegroundColor Cyan
$sortedIps
$sortedIps | Out-File "$PWD\Output.txt" -Encoding utf8

单线程简化版本（适合CPU资源紧张场景） #

$uniqueIps = [HashSet[string]]::new()
$LogFilePath = "C:\LOGS\*.log"
$LogFiles = Get-Item $LogFilePath
$totalFiles = $LogFiles.Count
$int = 0

foreach ($log in $LogFiles) {
    $int++
    Write-Progress -Activity "Collecting Log details" -Status "Processing file $int of $totalFiles - $($log.Name)" -PercentComplete ($int / $totalFiles * 100)

    # 流式读取+跳过前5行，直接处理每一行
    [System.IO.File]::ReadLines($log.FullName) | Select-Object -Skip 5 | ForEach-Object {
        $socket = $_.Split(',')[5]
        if (-not [string]::IsNullOrEmpty($socket)) {
            $ip = $socket.Split(':')[0]
            [void]$uniqueIps.Add($ip)
        }
    }
}

$sortedIps = $uniqueIps | Sort-Object
Write-Host "List of noted remote IPs:" -ForegroundColor Cyan
$sortedIps
$sortedIps | Out-File "$PWD\Output.txt" -Encoding utf8

优化细节说明 #

1. 流式读取：[System.IO.File]::ReadLines()返回枚举器，逐行读取文件，不会一次性加载全文件到内存，大文件场景下内存占用大幅降低，读取速度更快。
2. 哈希表去重：哈希表的元素查找/插入是O(1)复杂度，比后续对海量数据做Select-Object -Unique高效得多，还能实时控制内存占用。
3. 并行处理：-ThrottleLimit控制同时运行的线程数，建议设置为CPU核心数的1-2倍，避免线程过多导致上下文切换开销。
4. 减少IO开销：去掉原脚本中每个文件的Write-Host输出，仅保留必要的进度提示和最终结果，降低控制台IO的性能损耗。

内容的提问来源于stack exchange，提问作者Arbelac