如何用PowerShell Runspaces高效批量搜索XML文件且避免重复扫描？

问题背景 #

我原本使用Start-Job批量搜索大量文件中的正则内容（如地址、手机号），但运行速度极慢。为提升效率尝试改用PowerShell Runspaces，却遇到核心问题：如何确保并行处理不会重复扫描同一文件？

测试环境说明：创建了20000个测试文件（10000个.xml格式、10000个.txt格式），手动修改2个文件加入目标内容“KETCHUP!”。另外，不能使用PowerShell 7的-Parallel参数，因为脚本/GUI需要交付给仅安装ISE的非IT人员使用。

现有Runspaces代码如下：

$Finished.text = 'Working.....' 

#Get list of files to search through
$path = "C:\intel\spam"
Push-Location $path
$FILES = Get-ChildItem -filter *.XML -File

### 5 Runspace limit
$RunspacePool = [RunspaceFactory]::CreateRunspacePool(1,5)
$RunspacePool.ApartmentState = "MTA"
$RunspacePool.Open()
$runspaces = @()

# Setup scriptblock
$scriptblock = {
   Param (
    [object]$files
   )
    foreach($file in $files){
  $test = select-string  -Path $file -Pattern 'KETCHUP!' -List | select-object FileName,Path
  
  if($test)
{
add-content -Path 'C:\intel\matches.txt' -Value $test.Filename
}
    }
                }


Write-Output "Starting search..."

       $runspace = [PowerShell]::Create()
       [void]$runspace.AddScript($scriptblock)
       [void]$runspace.AddArgument($FILES) # <-- Send files to be searched
       $runspace.RunspacePool = $RunspacePool

    $AsyncObject = $runspace.BeginInvoke() 

# Wait for runspaces to complete
while ($runspaces.Status.IsCompleted -notcontains $true) {}

# Cleanup runspaces 
foreach ($runspace in $runspaces ) { 
    $runspace.Pipe.EndInvoke($runspace.Status) 
    $runspace.Pipe.Dispose()
}

# Cleanup runspace pool
$RunspacePool.Close() 
$RunspacePool.Dispose()


  $Data = $runspace.EndInvoke($AsyncObject)

Pop-Location 

核心问题分析 #

原脚本的最大问题是没有真正实现并行：它仅创建了一个Runspace，并将所有文件一次性传入，相当于单线程处理。如果错误地为多个Runspace传入全量文件列表，就会导致重复扫描同一文件。

解决方案：文件分组+独立Runspace任务 #

要避免重复扫描，核心思路是：先一次性获取完整的文件列表，将其拆分为多个独立分组，每个Runspace仅处理一个分组。这样每个文件只会被分配到一个分组，仅被一个Runspace扫描。同时优化文件写入逻辑，避免并发写入冲突。

修改后的完整代码：

$Finished.text = 'Working.....' 

# 目标路径与配置
$path = "C:\intel\spam"
$outputFile = "C:\intel\matches.txt"
$maxRunspaces = 5  # 最大并行数
$searchPattern = 'KETCHUP!'

# 一次性获取所有目标文件（避免多Runspace重复扫描目录）
Push-Location $path
$allFiles = Get-ChildItem -Filter *.XML -File
Pop-Location

# 将文件列表拆分为$maxRunspaces个分组
$fileGroups = @()
$groupSize = [Math]::Ceiling($allFiles.Count / $maxRunspaces)
for ($i = 0; $i -lt $maxRunspaces; $i++) {
    $startIdx = $i * $groupSize
    $endIdx = [Math]::Min(($i + 1) * $groupSize - 1, $allFiles.Count - 1)
    if ($startIdx -le $endIdx) {
        $fileGroups += ,($allFiles[$startIdx..$endIdx])
    }
}

# 初始化Runspace池
$runspacePool = [RunspaceFactory]::CreateRunspacePool(1, $maxRunspaces)
$runspacePool.ApartmentState = "MTA"
$runspacePool.Open()
$asyncTasks = @()

# 定义并行执行的脚本块（返回匹配结果，而非直接写文件）
$searchScriptBlock = {
    param(
        [System.IO.FileInfo[]]$files,
        [string]$pattern
    )
    $matches = @()
    foreach ($file in $files) {
        $result = Select-String -Path $file.FullName -Pattern $pattern -List
        if ($result) {
            $matches += [PSCustomObject]@{
                FileName = $result.Filename
                Path     = $result.Path
            }
        }
    }
    return $matches
}

Write-Output "Starting search with $maxRunspaces parallel runspaces..."

# 为每个文件分组创建Runspace任务
foreach ($group in $fileGroups) {
    $psInstance = [PowerShell]::Create()
    [void]$psInstance.AddScript($searchScriptBlock)
    [void]$psInstance.AddArgument($group)
    [void]$psInstance.AddArgument($searchPattern)
    $psInstance.RunspacePool = $runspacePool
    
    $asyncTasks += @{
        Pipe   = $psInstance
        Status = $psInstance.BeginInvoke()
    }
}

# 等待所有Runspace任务完成
while ($asyncTasks.Status.IsCompleted -contains $false) {
    Start-Sleep -Milliseconds 100
}

# 收集所有结果并统一写入文件
$allMatches = @()
foreach ($task in $asyncTasks) {
    $allMatches += $task.Pipe.EndInvoke($task.Status)
    $task.Pipe.Dispose()
}

# 写入结果（去重+统一输出）
$allMatches | Select-Object -Unique FileName, Path | ForEach-Object {
    Add-Content -Path $outputFile -Value $_.FileName
}

# 清理Runspace池
$runspacePool.Close()
$runspacePool.Dispose()

$Finished.text = 'Search completed!'

关键优化点说明 #

1. 预获取文件列表：仅执行一次Get-ChildItem，避免多个Runspace重复扫描目录，从根源避免重复文件的可能。
2. 文件分组分配：将文件列表均匀拆分，每个Runspace只处理专属分组，确保每个文件仅被扫描一次。
3. 结果统一收集：脚本块返回匹配结果而非直接写文件，避免多个Runspace同时写入导致的文件锁、内容错乱等问题，最后统一写入提升效率。
4. 资源清理：严格清理Runspace实例与池，避免内存泄漏。

内容的提问来源于stack exchange，提问作者iva hardy