嘿，这个场景我之前处理过类似的——批量处理上千个CSV确实头疼，用后台作业并行跑能大幅提速，但直接共享哈希表得注意线程安全，不然很容易出现数据统计错乱的问题。下面给你一套经过验证的靠谱方案：

核心思路 #

PowerShell默认的哈希表（@{}）不是线程安全的，多个后台Job同时修改会触发竞争条件，导致统计结果不准。所以我们要：

1. 用线程安全的哈希表存储全局统计结果
2. 每个后台Job只负责处理一部分CSV，先在本地统计，再把结果传回主进程合并
3. 同时在Job里提取需要的列数据，最后统一输出

具体实现步骤 #

1. 初始化线程安全的全局统计哈希表 #

首先创建一个线程安全的哈希表，确保多Job操作时不会出问题：

# 创建线程安全的全局统计哈希表
$globalStats = [System.Collections.Hashtable]::Synchronized((@{ }))

2. 批量创建后台Job处理CSV文件 #

不要给每个CSV都建一个Job（会把系统资源榨干），而是分组批量处理。比如每50个CSV分配一个Job，你可以根据自己的机器性能调整这个数值：

# 获取所有目标CSV文件
$csvFiles = Get-ChildItem -Path "C:\Your\CSV\Folder" -Filter *.csv -File

# 设置每个Job处理的文件数量
$batchSize = 50
# 把文件分组
$fileBatches = $csvFiles | Group-Object -Property { [math]::Floor($_.Index / $batchSize) }

# 遍历分组创建Job
foreach ($batch in $fileBatches) {
    Start-Job -ScriptBlock {
        param($files)
        # 每个Job维护自己的局部统计哈希表
        $localStats = @{}
        # 收集需要输出的列数据
        $outputRows = @()

        foreach ($file in $files) {
            try {
                # 读取CSV：如果你的CSV没有表头，一定要用-Header指定列名，避免索引错误
                # 这里假设CSV有表头，或者你自定义了表头，第二列名为Col2
                Import-Csv -Path $file.FullName | ForEach-Object {
                    # 提取第二列的值用于统计
                    $col2Val = $_.Col2
                    # 更新局部统计
                    if ($localStats.ContainsKey($col2Val)) {
                        $localStats[$col2Val]++
                    }
                    else {
                        $localStats[$col2Val] = 1
                    }

                    # 收集你需要输出的列，比如这里保留Col2和Col4
                    $outputRows += [PSCustomObject]@{
                        Col2 = $col2Val
                        Col4 = $_.Col4
                    }
                }
            }
            catch {
                Write-Warning "处理文件 $($file.FullName) 出错：$_"
            }
        }

        # 返回Job的处理结果：局部统计和输出列数据
        return @{
            LocalStats = $localStats
            OutputData = $outputRows
        }
    } -ArgumentList $batch.Group | Out-Null
}

3. 收集Job结果并合并数据 #

等所有Job跑完后，把每个Job的局部统计合并到全局哈希表，同时汇总需要输出的列：

# 等待所有后台Job完成
Get-Job | Wait-Job | Out-Null

# 初始化最终输出数据集合
$finalOutput = @()

# 遍历每个Job处理结果
foreach ($job in Get-Job) {
    $jobResult = Receive-Job -Job $job

    # 合并局部统计到全局线程安全哈希表
    foreach ($key in $jobResult.LocalStats.Keys) {
        if ($globalStats.ContainsKey($key)) {
            $globalStats[$key] += $jobResult.LocalStats[$key]
        }
        else {
            $globalStats[$key] = $jobResult.LocalStats[$key]
        }
    }

    # 汇总输出列数据
    $finalOutput += $jobResult.OutputData

    # 清理已完成的Job
    Remove-Job -Job $job
}

# 把筛选后的列数据导出到CSV
$finalOutput | Export-Csv -Path "C:\Your\Output\Filtered_Results.csv" -NoTypeInformation -Encoding UTF8

# 输出第二列的统计结果
Write-Host "=== 第二列数据出现次数统计 ==="
$globalStats.GetEnumerator() | Sort-Object Value -Descending | ForEach-Object {
    Write-Host "$($_.Key): $($_.Value) 次"
}

关键注意事项 #

• 线程安全优先：必须用[System.Collections.Hashtable]::Synchronized创建全局哈希表，普通哈希表在多Job场景下会出现数据丢失或错误
• 合理设置Batch大小：如果你的机器CPU核心多，可以适当调大$batchSize；如果内存有限，就调小，避免单个Job占用过多内存
• 大文件/大数据量优化：如果需要输出的列数据量极大，不要在Job里收集到内存再返回，而是让每个Job直接把输出写入临时CSV文件（比如Export-Csv -Path "C:\Temp\Job_$PID.csv" -Append），最后再合并这些临时文件，减少内存压力
• 错误处理：加上try/catch块可以避免单个损坏的CSV文件导致整个Job崩溃，保证批量处理的稳定性

内容的提问来源于stack exchange，提问作者user2896865