PowerShell大CSV文件优化：单遍完成多维度统计需求

你现在遇到的问题很典型——处理大文件时反复读取会严重拖慢速度甚至触发内存限制，毕竟350MB的文件每次加载都是不小的开销。咱们直接改成单遍读取就完成所有统计的方案，既省内存又快。

先回顾下你的场景：
你的CSV示例数据：

Visitor ID,Revenue,Channel,Flight
1234,100,Email,BA123
2345,200,PPC,BA112
456,150,Email,BA456

需要生成的统计结果：

The count of distinct Visitor IDs (3)
The total revenue (450)
The count of each Channel
Email 2
PPC 1
The count of each Flight
BA123 1
BA112 1
BA456 1

你当前的代码会多次调用Import-Csv读取整个文件，这就是性能瓶颈所在。下面是优化后的单遍处理代码：

$file = 'log.txt'
# 初始化统计用的高效数据结构
$uniqueVisitors = [System.Collections.Generic.HashSet[string]]::new()
$totalRevenue = 0
$channelCounts = [System.Collections.Generic.Dictionary[string, int]]::new([System.StringComparer]::OrdinalIgnoreCase)
$flightCounts = [System.Collections.Generic.Dictionary[string, int]]::new([System.StringComparer]::OrdinalIgnoreCase)

# 批量逐行读取文件，减少IO次数
Get-Content -Path $file -ReadCount 1000 | ForEach-Object {
    foreach ($line in $_) {
        # 跳过表头行
        if ($line -eq 'Visitor ID,Revenue,Channel,Flight') { continue }
        
        # 分割行数据，处理可能的空格
        $columns = $line -split ',' | ForEach-Object { $_.Trim() }
        if ($columns.Count -ne 4) { continue } # 跳过格式错误的行

        # 更新各统计项
        [void]$uniqueVisitors.Add($columns[0]) # HashSet自动去重
        $totalRevenue += [int]$columns[1]

        # 更新渠道计数
        if ($channelCounts.ContainsKey($columns[2])) {
            $channelCounts[$columns[2]]++
        } else {
            $channelCounts[$columns[2]] = 1
        }

        # 更新航班计数
        if ($flightCounts.ContainsKey($columns[3])) {
            $flightCounts[$columns[3]]++
        } else {
            $flightCounts[$columns[3]] = 1
        }
    }
}

# 组装输出结果
$output = @()
$output += "The count of distinct Visitor IDs ($($uniqueVisitors.Count))"
$output += "The total revenue ($totalRevenue)"
$output += "The count of each Channel"
$channelCounts.GetEnumerator() | ForEach-Object { $output += "$($_.Key) $($_.Value)" }
$output += "The count of each Flight"
$flightCounts.GetEnumerator() | ForEach-Object { $output += "$($_.Key) $($_.Value)" }

# 输出到控制台或写入文件
$output | Write-Host
# 如果要保存到文件：$output | Out-File -FilePath 'statistics.txt' -Encoding UTF8

为什么这个方案更快更省内存？ #

• 单遍读取：只加载文件一次，彻底避免重复IO的开销
• 高效数据结构：用.NET的HashSet和Dictionary替代PowerShell原生对象，内存占用更低、操作速度更快
• 批量读取：-ReadCount 1000会一次性读取1000行，比逐行读取减少了IO调用次数，平衡了内存和性能
• 轻量处理：直接分割字符串处理，不像Import-Csv那样为每行创建PSObject，大幅降低内存消耗

内容的提问来源于stack exchange，提问作者Craig Fitches