PowerShell中如何从字符串截取指定字节数的子串

• 需从体积达180MB的JSON REST响应中提取内嵌的base64编码安装程序，在WinRM等内存受限场景下使用标准PowerShell工具解码响应时，频繁抛出OutOfMemoryException。
• 当前环境限制：无法为单次安装调高内存配额，无权限通过构建系统之外的渠道发布安装包，不能将payload部署到简易HTTP端点提供下载，因此采用分块解码base64字符串的方案，核心逻辑已跑通，仍存在内存效率优化点。

当前使用MemoryStream读取字符串内容，初始化时需传入byte[]类型参数，代码如下：

# $Base64String is a [ref] type
$memStream = [IO.MemoryStream]::new([Text.Encoding]::UTF8.GetBytes($Base64String.Value))

• 该实现会复制整个base64编码字符串对应的全量byte[]数据，内存效率甚至低于内置解码工具。
• 现有后续逻辑以1024字节为分块大小从$memStream读取数据，解码base64后通过BinaryWriter将字节写入磁盘，功能正常，但因需要频繁强制垃圾回收导致运行速度较慢。
• 优化目标：改造初始MemoryStream的创建逻辑，每次仅从字符串中读取n字节（已知base64解码要求分块字节数必须能被4整除），不再加载全量字符串。

• [string].Substring([int], [int])方法按字符串字符长度而非单字符对应字节数截取，虽然可以确定JSON响应为UTF-8编码，但UTF-8字符长度在1-4字节之间浮动，无法直接通过字符数换算准确字节长度。
• [Text.Encoding].GetBytes([string], [int], [int])重载同样要求传入字符计数而非字节计数作为截取长度参数。
• 需要找到PowerShell中可直接或间接截取指定字节数字符串子串的方法，基于子串创建MemoryStream，避免加载全量$Base64String引发内存溢出。

关键前提：标准Base64编码的合法字符集仅包含A-Z、a-z、0-9、+、/、=，所有字符均属于ASCII范围，在UTF-8编码下每个字符固定占用1字节，不存在多字节场景。也就是说，提取出纯base64字符串后，字符计数与UTF-8字节计数完全等价，你担心的UTF-8变长问题仅存在于base64串外层的JSON结构部分，纯base64串无需做字节/字符换算。

优化实现逻辑 #

1. 完全放弃初始化全量MemoryStream的方案，直接对纯base64字符串按固定字符长度（即字节长度，必须为4的倍数）分块截取，分块大小建议设置为4096~65536区间，比1024字节分块的IO开销低、内存占用可控。
2. 每截取一块直接调用[Convert]::FromBase64String()解码，解码后直接写入文件流，不在内存中保留全量数据引用。
3. 每块处理完成后释放当前块的变量引用即可，不需要频繁调用[GC]::Collect()强制执行全量垃圾回收，.NET分代GC会自动回收短生命周期的块内存，强制全量GC反而会大幅拖慢运行速度。

参考实现代码 #

# 分块大小必须为4的倍数，4096是WinRM场景下内存占用与速度的平衡值
$chunkCharLength = 4096
$totalBase64Length = $Base64String.Value.Length
# 直接打开输出文件流，不需要中间MemoryStream
$fileStream = [IO.File]::OpenWrite($targetInstallerPath)
$binaryWriter = [IO.BinaryWriter]::new($fileStream)

for ($offset = 0; $offset -lt $totalBase64Length; $offset += $chunkCharLength) {
    # 最后一块长度不足时取剩余字符数
    $currentChunkLen = [Math]::Min($chunkCharLength, $totalBase64Length - $offset)
    # 纯base64场景下字符数=UTF8字节数，直接按字符截取即可
    $currentChunk = $Base64String.Value.Substring($offset, $currentChunkLen)
    # 解码当前分块
    $decodedChunk = [Convert]::FromBase64String($currentChunk)
    # 直接写入磁盘
    $binaryWriter.Write($decodedChunk)
    # 释放当前块引用，便于GC自动回收
    $currentChunk = $null
    $decodedChunk = $null
}

# 释放流资源
$binaryWriter.Dispose()
$fileStream.Dispose()

进一步优化建议 #

如果需要进一步降低内存占用，可以跳过“将整个HTTP响应读取为完整字符串再解析JSON提取base64字段”的步骤，直接从HTTP响应流逐字节读取：

• 边读边匹配JSON中base64字段的键名与起始引号标记
• 定位到base64值的起始位置后，按4字符为单位逐块读取，直到遇到闭合的引号标记
• 每读满一个分块就解码写入磁盘
  该方案全程内存占用仅为单块大小，即使响应体积超过1GB也不会触发OOM。

内容的提问来源于stack exchange，提问作者codewario