PowerShell脚本并行化异常：作业未等待REST API响应提前结束

核心问题定位 #

你的脚本里Start-Job的参数拼写错误：把-ScriptBlock误写成了-ScriptblVariable_Input_3k，导致作业没有加载你定义的$Commnad_Block脚本块，作业启动后直接空执行结束，自然生成内容为空的文件。

修正后的基础脚本 #

先修正拼写错误，同时补充错误处理避免API调用失败导致空文件：

# Connect to SQL server
$SQLServer = "XXXXXXXXXXXXX" # use Server\Instance for named SQL instances
$SQLDBName = "XXX"
$DataSet = Invoke-Sqlcmd -Query "SELECT Input_1 ,Input_2 ,Input_3  FROM XXX.dbo.API_Input" -ServerInstance $SQLServer -Database $SQLDBName

$Command_Block = {
    Param( [string]$Variable_Input_1, [string]$Variable_Input_2, [string]$Variable_Input_3)
           
    # 编译URL并转义特殊字符
    $URL = "https://example.com/Stag?Seg=$([Uri]::EscapeDataString($Variable_Input_2))&Cust=$([Uri]::EscapeDataString($Variable_Input_1))&Prod=$([Uri]::EscapeDataString($Variable_Input_3))"

    try {
        # 调用REST API
        $response = Invoke-RestMethod -Uri $URL -Method GET -ContentType "application/json" -ErrorAction Stop

        # 定义输出文件路径
        $FileNamePath = "D:\File_Export\$Variable_Input_3.json"

        # 保存JSON内容
        $response | ConvertTo-Json -Depth 100 | Out-File $FileNamePath -Encoding utf8
    }
    catch {
        # 记录错误日志
        Add-Content -Path "D:\File_Export\error_log.txt" -Value "$(Get-Date): 处理 $Variable_Input_3 失败 - $($_.Exception.Message)"
    }
}

# 清理现有作业
Get-Job | Remove-Job -Force
$MaxThreads = 4

# 启动并行作业，控制最大并发数
foreach($element in $DataSet){
    While ($(Get-Job -State Running).Count -ge $MaxThreads){
        Start-Sleep -Milliseconds 100
    }
    # 修正ScriptBlock参数拼写
    Start-Job -ScriptBlock $Command_Block -ArgumentList $element.Input_1, $element.Input_2, $element.Input_3
}

# 等待所有作业完成
While ($(Get-Job -State Running).Count -gt 0){
    Start-Sleep -Seconds 1
}

# 收集作业输出与错误信息
foreach($job in Get-Job){
    Receive-Job -Id $job.Id
}

# 清理作业
Get-Job | Remove-Job -Force

进一步优化：用RunspacePool替代Job提升效率 #

PowerShell Job基于独立进程，开销大，处理11000条数据时效率偏低。推荐使用RunspacePool（轻量级线程池），大幅提升并行处理速度：

# Connect to SQL server
$SQLServer = "XXXXXXXXXXXXX"
$SQLDBName = "XXX"
$DataSet = Invoke-Sqlcmd -Query "SELECT Input_1 ,Input_2 ,Input_3  FROM XXX.dbo.API_Input" -ServerInstance $SQLServer -Database $SQLDBName

# 创建Runspace线程池，设置最大并发数（根据API限流调整）
$maxThreads = 10
$runspacePool = [RunspaceFactory]::CreateRunspacePool(1, $maxThreads)
$runspacePool.Open()

$jobs = @()

foreach($element in $DataSet){
    $ps = [PowerShell]::Create().AddScript({
        Param( [string]$Var1, [string]$Var2, [string]$Var3)
        $URL = "https://example.com/Stag?Seg=$([Uri]::EscapeDataString($Var2))&Cust=$([Uri]::EscapeDataString($Var1))&Prod=$([Uri]::EscapeDataString($Var3))"
        try {
            $response = Invoke-RestMethod -Uri $URL -Method GET -ContentType "application/json" -ErrorAction Stop
            $FileNamePath = "D:\File_Export\$Var3.json"
            $response | ConvertTo-Json -Depth 100 | Out-File $FileNamePath -Encoding utf8
            return "成功处理: $Var3"
        }
        catch {
            $errorMsg = "$(Get-Date): 处理 $Var3 失败 - $($_.Exception.Message)"
            Add-Content -Path "D:\File_Export\error_log.txt" -Value $errorMsg
            return $errorMsg
        }
    }).AddArgument($element.Input_1).AddArgument($element.Input_2).AddArgument($element.Input_3)
    
    $ps.RunspacePool = $runspacePool
    $jobs += @{
        PowerShell = $ps
        AsyncResult = $ps.BeginInvoke()
    }
}

# 等待所有任务完成并回收资源
foreach($job in $jobs){
    $job.PowerShell.EndInvoke($job.AsyncResult)
    $job.PowerShell.Dispose()
}

# 关闭线程池
$runspacePool.Close()
$runspacePool.Dispose()

额外注意事项 #

• URL编码：必须用[Uri]::EscapeDataString()处理输入参数，避免特殊字符导致URL无效。
• 并发限制：不要设置过高的并行线程数，避免触发API服务端限流，建议先测试合适的并发值。
• 文件覆盖：如果$Variable_Input_3存在重复值，后续文件会覆盖之前的，可添加时间戳等逻辑避免冲突。
• 错误排查：通过错误日志快速定位失败的请求，便于针对性处理。

内容的提问来源于stack exchange，提问作者MilkyMan