基于PowerShell Jobs递归并行扫描NTFS/SAN文件共享的优化问题

核心问题解决思路 #

针对RSJobs数量失控、内存暴涨和负载不均问题，采用并发任务池+线程安全队列模式实现动态任务调度，始终维持X个并行作业：

1. 解决RSJobs数量失控与内存暴涨 #

• 放弃嵌套作业传递父作业列表的方式，改用ConcurrentQueue存储待处理目录，所有作业共享该队列，无需在作业间传递大量数据。
• 每个作业仅负责处理当前目录的元数据，完成后将子目录加入队列，由主进程监控作业状态，作业结束时立即从队列取新目录启动新作业，维持并发数稳定。

2. 解决负载不均 #

• 不再局限于根目录并行，所有层级的子目录都作为独立任务加入队列，由任务池动态分配。即使少数根目录包含大量嵌套内容，也会被拆分为多个子任务分散到不同作业中，避免单作业负载过重。

实现代码示例 #

# 初始化配置与并发队列
$targetPath = "\\san-share\data" # 目标共享路径
$maxConcurrentJobs = 8 # 设定并行数X
$directoryQueue = [System.Collections.Concurrent.ConcurrentQueue[string]]::new()
$directoryQueue.Enqueue($targetPath)

# 定义目录扫描作业脚本块
$scanScriptBlock = {
    param($dirPath)
    try {
        # 获取当前目录元数据
        $dirInfo = Get-Item -Path $dirPath -Force
        $dirMetadata = [PSCustomObject]@{
            Type          = "Directory"
            Path          = $dirInfo.FullName
            Attributes    = $dirInfo.Attributes.ToString()
            CreationTime  = $dirInfo.CreationTimeUtc
            LastWriteTime = $dirInfo.LastWriteTimeUtc
            Permissions   = ($dirInfo.GetAccessControl().Access | ConvertTo-Json -Compress)
        }
        
        # 获取当前目录下的文件元数据
        $fileMetadata = Get-ChildItem -Path $dirPath -File -Force | ForEach-Object {
            [PSCustomObject]@{
                Type          = "File"
                Path          = $_.FullName
                Attributes    = $_.Attributes.ToString()
                CreationTime  = $_.CreationTimeUtc
                LastWriteTime = $_.LastWriteTimeUtc
                Length        = $_.Length
                Permissions   = ($_.GetAccessControl().Access | ConvertTo-Json -Compress)
            }
        }
        
        # 返回元数据与子目录列表
        return @{
            Metadata       = $dirMetadata, $fileMetadata
            SubDirectories = (Get-ChildItem -Path $dirPath -Directory -Force).FullName
        }
    }
    catch {
        Write-Warning "扫描目录失败: $dirPath - $_"
        return @{ Metadata = $null; SubDirectories = $null }
    }
}

# 启动初始作业，填充至最大并发数
while ($directoryQueue.Count -gt 0 -and (Get-RSJob -State Running).Count -lt $maxConcurrentJobs) {
    if ($directoryQueue.TryDequeue([ref]$currentDir)) {
        Start-RSJob -ScriptBlock $scanScriptBlock -ArgumentList $currentDir
    }
}

# 监控作业状态，动态补充新作业
while ((Get-RSJob -State Running).Count -gt 0 -or $directoryQueue.Count -gt 0) {
    # 处理已完成作业，将子目录入队并清理作业
    $completedJobs = Get-RSJob -State Completed
    foreach ($job in $completedJobs) {
        $result = Receive-RSJob -Job $job -Wait
        # 此处可将$result.Metadata写入文件/数据库，按需处理
        if ($result.SubDirectories) {
            foreach ($subDir in $result.SubDirectories) {
                $directoryQueue.Enqueue($subDir)
            }
        }
        Remove-RSJob -Job $job # 清理作业释放内存
    }

    # 补充新作业，维持最大并发数
    while ($directoryQueue.Count -gt 0 -and (Get-RSJob -State Running).Count -lt $maxConcurrentJobs) {
        if ($directoryQueue.TryDequeue([ref]$currentDir)) {
            Start-RSJob -ScriptBlock $scanScriptBlock -ArgumentList $currentDir
        }
    }

    Start-Sleep -Milliseconds 500 # 降低循环CPU占用
}

Write-Host "扫描完成"

关键优化点说明 #

• 线程安全队列：ConcurrentQueue保证多作业操作队列时无冲突，无需额外加锁。
• 动态调度：主进程持续监控作业状态，完成一个作业就启动新作业，始终维持设定的并行数。
• 内存管控：及时清理已完成的RSJob，避免内存堆积；权限信息压缩为JSON，减少内存占用。
• IO优化：仅获取元数据不读取文件内容，降低存储/网络IO开销。

内容的提问来源于stack exchange，提问作者The Unique Paul Smith