Node.js调用PowerShell子进程大JSON数据分片解析异常问题

关于增大Write-Output缓冲区的可能性 #

PowerShell的Write-Output本身没有提供直接调整输出缓冲区的参数。输出被分片的本质是底层Windows管道的传输机制限制——管道会自动将大尺寸数据拆分为固定大小的块（通常为4KB或8KB）传输，和Write-Output本身无关，因此无法通过调整它的缓冲区来避免分片。

可行的解决思路 #

1. 用自定义分隔符标记完整JSON边界 #

在PowerShell输出完整JSON后，追加一个唯一的、不会出现在JSON内容中的分隔符；Node端累积接收的数据，直到遇到分隔符再提取完整的JSON片段解析，适合持续输出多次JSON的场景。

PowerShell脚本示例：

# 生成大尺寸JSON数据
$largeData = @{
  Records = 1..5000 | ForEach-Object { @{Id = $_; Content = "Sample content $_"} }
}
$jsonOutput = $largeData | ConvertTo-Json -Depth 10

# 输出JSON + 自定义分隔符
Write-Output $jsonOutput
Write-Output "===JSON-END==="

Node.js脚本示例：

const { spawn } = require('child_process');
const psProcess = spawn('powershell.exe', ['-File', './your-script.ps1']);

let rawBuffer = '';
const JSON_DELIMITER = "===JSON-END===";

psProcess.stdout.on('data', (chunk) => {
  rawBuffer += chunk.toString();
  // 循环处理所有已到达的完整JSON片段
  while (rawBuffer.includes(JSON_DELIMITER)) {
    const [completeJson, remainingBuffer] = rawBuffer.split(JSON_DELIMITER, 2);
    rawBuffer = remainingBuffer;
    try {
      const parsedData = JSON.parse(completeJson.trim());
      console.log('处理完成的数据:', parsedData);
      // 这里添加你的业务逻辑
    } catch (err) {
      console.error('JSON解析失败:', err);
    }
  }
});

psProcess.stderr.on('data', (err) => {
  console.error('PowerShell错误输出:', err.toString());
});

2. 将JSON转为Base64字符串传输 #

把PowerShell中的JSON序列化为Base64字符串后输出，Base64是无换行的连续字符，即使被管道分片，Node端拼接后也能完整解码还原为JSON，避免分片导致的结构破坏。

PowerShell脚本示例：

$largeObject = @{
  Logs = Get-Content -Path "large-log-file.txt" -Raw
  Metadata = @{Timestamp = Get-Date; Source = "PowerShell Script"}
}
$jsonString = $largeObject | ConvertTo-Json -Depth 10
# 转为Base64输出
$base64Output = [System.Convert]::ToBase64String([System.Text.Encoding]::UTF8.GetBytes($jsonString))
Write-Output $base64Output

Node.js脚本示例：

const { spawn } = require('child_process');
const psProcess = spawn('powershell.exe', ['-File', './your-script.ps1']);

let base64Buffer = '';

psProcess.stdout.on('data', (chunk) => {
  // 移除可能的换行符，确保Base64字符串连续
  base64Buffer += chunk.toString().replace(/\r?\n/g, '');
});

// 如果是单次输出，监听end事件；如果是持续输出，可结合分隔符使用
psProcess.stdout.on('end', () => {
  try {
    const jsonString = Buffer.from(base64Buffer, 'base64').toString('utf8');
    const parsedData = JSON.parse(jsonString);
    console.log('解析完成的数据:', parsedData);
  } catch (err) {
    console.error('Base64解码或JSON解析失败:', err);
  }
});

3. 调整Node.js的接收缓冲区（辅助优化） #

虽然无法阻止PowerShell端的分片，但可以调整Node.js spawn的接收缓冲区大小，减少data事件的触发次数，降低拼接逻辑的开销：

const psProcess = spawn('powershell.exe', ['-File', './your-script.ps1'], {
  stdio: [
    'pipe',
    { bufferSize: 1024 * 1024 }, // 设置stdout缓冲区为1MB
    'pipe'
  ]
});

注意：这个方法只是减少触发次数，不能保证不会收到分片，仍需配合前面的完整JSON提取逻辑使用。

内容的提问来源于stack exchange，提问作者bitbar