PowerShell调用REST API限制及SSIS大体积JSON下载内存溢出问题

System.OutOfMemoryException的核心触发原因是默认的Invoke-RestMethod逻辑会将整个HTTP响应完整缓冲在内存中，再完成JSON反序列化——4GB的原始JSON payload反序列化为PSCustomObject对象后，实际内存占用会达到原始大小的3~5倍。
两个运行环境的差异直接导致表现不同：

• PowerShell ISE默认启动64位PowerShell进程，单进程可寻址内存上限为系统剩余可用内存，只要机器内存足够就能承载全量加载的开销
• SSIS Execute Process Task默认可能调用32位PowerShell进程（路径为C:\Windows\SysWOW64\WindowsPowerShell\v1.0\powershell.exe），32位进程用户态内存上限仅2GB，根本无法承载4GB响应的缓冲+反序列化开销，直接抛出内存不足异常。

• 放弃全量内存缓冲，改用流式读写：不要用Invoke-RestMethod直接获取全量结果，使用.NET原生HttpClient配置响应头读取即返回的模式，边接收响应流边写入本地文件，全程内存占用稳定在几十MB级别，完全规避大内存开销。核心实现参考：

# 替换为实际业务参数
$token = "your_access_token"
$outFilePath = "D:\data\large_payload.json"
$apiUri = "https://api.mysite.com/v1/data"
$BodyJson = "{}"

Add-Type -AssemblyName System.Net.Http
$httpHandler = New-Object System.Net.Http.HttpClientHandler
$httpClient = New-Object System.Net.Http.HttpClient($httpHandler)
$httpClient.DefaultRequestHeaders.Authorization = New-Object System.Net.Http.Headers.AuthenticationHeaderValue("Bearer", $token)
# 按需调整超时时间，大文件拉取需要更长超时
$httpClient.Timeout = [TimeSpan]::FromHours(2)

$request = New-Object System.Net.Http.HttpRequestMessage([System.Net.Http.HttpMethod]::Get, $apiUri)
$request.Content = New-Object System.Net.Http.StringContent($BodyJson, [System.Text.Encoding]::UTF8, "application/json")

# 关键参数：拿到响应头即返回，不缓冲全量响应内容
$response = $httpClient.SendAsync($request, [System.Net.Http.HttpCompletionOption]::ResponseHeadersRead).Result
$response.EnsureSuccessStatusCode()

# 流对拷：响应流直接写入本地文件，不在内存留存全量数据
$sourceStream = $response.Content.ReadAsStreamAsync().Result
$targetStream = [System.IO.File]::Open($outFilePath, [System.IO.FileMode]::Create, [System.IO.FileAccess]::Write)
$sourceStream.CopyTo($targetStream)

# 释放所有资源
$targetStream.Dispose()
$sourceStream.Dispose()
$response.Dispose()
$request.Dispose()
$httpClient.Dispose()
$httpHandler.Dispose()

• 优先从API设计层面降低单请求负载：和接口提供方确认是否支持时间分片、分页拉取、范围请求，把单请求4GB的拉取拆分为数十次百MB级别的请求，既可以规避内存问题，也支持断点续传，单次请求失败不需要重传全量数据。
• 修正SSIS进程配置：Execute Process Task里指定PowerShell路径为64位版本C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe，不要使用SysWOW64路径下的32位程序；同时取消进程内存配额限制。
• 避免全量JSON反序列化：如果需要处理下载后的JSON文件，不要用ConvertFrom-Json一次性加载全量文件，使用流式JSON读取器逐节点提取需要的字段，不要把整个JSON转换为内存对象。

• 内存缓冲限制：Invoke-RestMethod、Invoke-WebRequest默认逻辑会全量缓冲响应内容，响应体超过1GB时在32位进程、机器内存不足的场景下极易触发OOM，大文件场景必须改用流式处理。
• 超时限制：PowerShell 5.1版本下Invoke-RestMethod默认超时仅100秒，大文件拉取场景必须手动调整超时参数，否则会提前中断请求。
• GET请求带Body的兼容性问题：部分代理、服务端、HTTP网关不支持GET请求携带Body，当前示例代码中GET方法传Body的写法在不同运行环境下可能出现参数丢失、请求被拦截的问题，建议将筛选参数放入QueryString，或改用POST方法提交查询条件。
• TLS版本限制：PowerShell 5.1及更低版本默认启用的TLS版本为1.0，多数新API仅支持TLS1.2及以上版本，请求前需要手动加配置：[Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::Tls12，否则会抛出SSL连接错误。
• 编码默认值限制：Invoke-RestMethod默认编码不是UTF-8，遇到非英文内容时容易出现乱码，需要根据接口响应编码手动指定。

内容的提问来源于stack exchange，提问作者ITHelpGuy