如何将PsObject转为HtmlWebResponseObject？解决Invoke-WebRequest内存挂起问题

我明白你的痛点——Invoke-WebRequest一旦在内存挂起就搞崩整个脚本，用Job隔离确实是个好思路，但序列化后的对象类型丢失确实头疼。我给你几个实用的解决方案，一步步来：

思路1：在Job内部直接处理响应（推荐） #

既然你最终是要解析HTML，不如把解析逻辑直接放到Job里，只把需要的结果传回来，完全避开类型转换的问题。这样既隔离了挂起风险，又省掉后续的类型还原步骤：

# 假设你的站点列表是$siteList
foreach ($site in $siteList) {
    # 启动Job，直接在Job内完成请求+解析
    Start-Job -ScriptBlock {
        try {
            # 设置超时，避免Job无限挂起
            $response = Invoke-WebRequest -Uri $using:site -TimeoutSec 10
            # 这里替换成你实际需要的解析逻辑，比如提取标题和链接
            [PSCustomObject]@{
                SiteUri = $response.Uri
                PageTitle = $response.ParsedHtml.title
                AllLinks = $response.ParsedHtml.getElementsByTagName('a') | ForEach-Object { $_.href }
            }
        } catch {
            # 捕获错误，避免Job因为请求失败卡住
            [PSCustomObject]@{
                SiteUri = $using:site
                ErrorMessage = $_.Exception.Message
            }
        }
    } -Name "WebJob_$($site.GetHashCode())" | Out-Null
}

# 等待所有Job完成，接收结果
$parsedResults = Get-Job | Wait-Job | Receive-Job
# 一定要清理Job资源
Get-Job | Remove-Job

# 现在直接使用解析后的结果即可
$parsedResults | Where-Object { !$_.ErrorMessage } | Format-Table SiteUri, PageTitle

思路2：还原HtmlWebResponseObject类型 #

如果你确实需要完整的HtmlWebResponseObject对象，可以在Job里把响应的核心属性打包传回，再在主进程中重新构建对象。注意：部分内部属性可能无法完全还原，但核心的解析功能可以正常使用：

foreach ($site in $siteList) {
    Start-Job -ScriptBlock {
        try {
            $response = Invoke-WebRequest -Uri $using:site -TimeoutSec 10
            # 打包核心属性，这些属性可以跨Job序列化
            [PSCustomObject]@{
                Content = $response.Content
                Headers = $response.Headers
                StatusCode = $response.StatusCode
                StatusDescription = $response.StatusDescription
                Uri = $response.Uri
                RawContent = $response.RawContent
            }
        } catch {
            [PSCustomObject]@{
                SiteUri = $using:site
                ErrorMessage = $_.Exception.Message
            }
        }
    } -Name "WebJob_$($site.GetHashCode())" | Out-Null
}

# 接收Job结果
$jobOutputs = Get-Job | Wait-Job | Receive-Job
Get-Job | Remove-Job

# 重新构建HtmlWebResponseObject
$webResponses = foreach ($output in $jobOutputs) {
    if ($output.ErrorMessage) {
        $output # 直接返回错误对象
        continue
    }

    # 创建空的HtmlWebResponseObject
    $newResponse = New-Object Microsoft.PowerShell.Commands.HtmlWebResponseObject
    # 填充核心属性
    $newResponse | Add-Member -MemberType NoteProperty -Name Content -Value $output.Content -Force
    $newResponse | Add-Member -MemberType NoteProperty -Name Headers -Value $output.Headers -Force
    $newResponse | Add-Member -MemberType NoteProperty -Name StatusCode -Value $output.StatusCode -Force
    $newResponse | Add-Member -MemberType NoteProperty -Name StatusDescription -Value $output.StatusDescription -Force
    $newResponse | Add-Member -MemberType NoteProperty -Name Uri -Value $output.Uri -Force
    $newResponse | Add-Member -MemberType NoteProperty -Name RawContent -Value $output.RawContent -Force

    # 重新生成ParsedHtml（需要依赖MSHTML组件）
    $htmlDoc = New-Object mshtml.HTMLDocumentClass
    $htmlDoc.write($output.Content)
    $htmlDoc.close()
    $newResponse | Add-Member -MemberType NoteProperty -Name ParsedHtml -Value $htmlDoc -Force

    $newResponse
}

# 现在可以像使用原始对象一样操作$webResponses
$webResponses | Where-Object { !$_.ErrorMessage } | ForEach-Object {
    Write-Host "站点 $($_.Uri) 的标题是：$($_.ParsedHtml.title)"
}

思路3：用ThreadJob替代普通Job（PowerShell 7+） #

如果你用的是PowerShell 7或更高版本，强烈推荐用Start-ThreadJob代替Start-Job。ThreadJob是在同一进程的线程中运行，序列化开销极小，返回的对象几乎和原始类型一致，不需要额外转换：

# PS7+专属方案
foreach ($site in $siteList) {
    Start-ThreadJob -ScriptBlock {
        try {
            Invoke-WebRequest -Uri $using:site -TimeoutSec 10
        } catch {
            [PSCustomObject]@{
                SiteUri = $using:site
                ErrorMessage = $_.Exception.Message
            }
        }
    } -Name "WebThreadJob_$($site.GetHashCode())" | Out-Null
}

# 接收结果，直接就是HtmlWebResponseObject
$responses = Get-Job | Wait-Job | Receive-Job
Get-Job | Remove-Job

# 直接使用即可
$responses | Where-Object { $_ -is [Microsoft.PowerShell.Commands.HtmlWebResponseObject] } | ForEach-Object {
    Write-Host "成功请求 $($_.Uri)，状态码：$($_.StatusCode)"
}

额外注意事项 #

• 一定要给Invoke-WebRequest加上-TimeoutSec参数，避免Job因为请求超时一直挂起；
• 处理Job时优先用Wait-Job等待完成，不要固定等10秒，这样更灵活；
• 用完Job后必须用Remove-Job清理资源，否则会残留后台进程；
• 如果遇到大量站点请求，建议限制同时运行的Job数量（比如用-ThrottleLimit参数），避免系统资源耗尽。

内容的提问来源于stack exchange，提问作者seagull