如何在PowerShell 5中更快遍历数千个XML文件

针对你处理数千个XML文件时的性能问题，以下是几个关键优化方向和修改后的脚本：

核心优化点 #

• 预过滤无关文件：先用文本扫描快速排除不包含目标BatchID的文件，避免对所有文件做XML解析（解析XML的开销远高于文本匹配）
• 高效XML加载：使用XmlDocument.Load()替代Get-Content加载XML，减少内存占用和解析时间
• 批量IO操作：将匹配结果暂存到数组，最后一次性写入文件，避免频繁的追加写入开销
• 可选并行处理：通过Runspace池实现多线程处理，进一步提升大文件量下的速度

优化后的脚本 #

# 配置参数
$targetBatchID = "你的目标BatchID"
$xmlFolder = "XML文件所在目录路径"
$outfile = "结果输出文件路径"

# 1. 预过滤：快速扫描包含目标BatchID的文件路径
$candidateFiles = Get-ChildItem -Path $xmlFolder -Filter "*.xml" -File | 
    Select-String -Pattern "BatchID=`"$targetBatchID`"" -SimpleMatch -List | 
    Select-Object -ExpandProperty Path

$filesCount = $candidateFiles.Count
$counter = 0
$foundFiles = @()

# 2. 批量处理过滤后的文件
$candidateFiles | ForEach-Object {
    $filename = $_
    
    # 高效加载XML
    [xml]$doc = New-Object System.Xml.XmlDocument
    $doc.Load($filename)
    
    # 精准获取BatchID（避免XPath全文档扫描，可根据实际XML结构优化路径）
    $batchName = $doc.SelectSingleNode("//Batch[1]/@BatchID")?.Value
    
    if ($targetBatchID -eq $batchName) {
        Write-Host "Found file '$filename' with '$batchName'"
        $foundFiles += $filename
    }

    # 更新进度条
    $counter++
    Write-Progress -PercentComplete ($counter * 100 / $filesCount) `
                   -Activity "Files searched $counter/$filesCount" `
                   -Status 'Working...'
}

# 3. 批量写入结果
if ($foundFiles.Count -gt 0) {
    $foundFiles | Out-File -FilePath $outfile -Encoding UTF8
}

进阶优化：并行处理（PowerShell 5） #

如果文件数量极多（上万级），可以用Runspace池实现多线程处理，示例如下：

$targetBatchID = "你的目标BatchID"
$xmlFolder = "XML文件所在目录路径"
$outfile = "结果输出文件路径"
$maxThreads = 8 # 根据CPU核心数调整，避免资源过载

# 预过滤文件
$candidateFiles = Get-ChildItem -Path $xmlFolder -Filter "*.xml" -File | 
    Select-String -Pattern "BatchID=`"$targetBatchID`"" -SimpleMatch -List | 
    Select-Object -ExpandProperty Path

# 初始化Runspace池
$runspacePool = [RunspaceFactory]::CreateRunspacePool(1, $maxThreads)
$runspacePool.Open()
$jobs = @()

foreach ($file in $candidateFiles) {
    $job = [PowerShell]::Create().AddScript({
        param($file, $targetID)
        [xml]$doc = New-Object System.Xml.XmlDocument
        $doc.Load($file)
        $batchName = $doc.SelectSingleNode("//Batch[1]/@BatchID")?.Value
        if ($targetID -eq $batchName) { return $file }
    }).AddArgument($file).AddArgument($targetBatchID)
    
    $job.Runspace = $runspacePool
    $jobs += @{ Job = $job; Handle = $job.BeginInvoke() }
}

# 收集结果
$foundFiles = @()
foreach ($job in $jobs) {
    $result = $job.Job.EndInvoke($job.Handle)
    if ($result) { $foundFiles += $result }
    $job.Job.Dispose()
}

$runspacePool.Close()
$runspacePool.Dispose()

# 写入结果
$foundFiles | Out-File -FilePath $outfile -Encoding UTF8

内容的提问来源于stack exchange，提问作者Adalwolf