如何使用Node.js的child_process spawn执行curl命令，解决大HAR文件下载的maxBuffer超限问题并将数据存入变量

我完全懂你遇到的麻烦——exec的stdout缓冲区有大小限制，处理大体积的HAR文件时必然会触发maxBuffer超限错误。换成spawn是正确的思路，但spawn是基于流式处理的，不能像exec那样直接一次性拿到完整输出，得手动处理数据流的拼接，还要用Promise来封装异步流程才能和你的async函数配合。

先看看你之前的spawn代码问题出在哪：

• 变量output没有初始化，而且stdout的data事件是异步触发的，你在事件回调外直接console.log(output)的时候，数据还没被收集到，自然返回undefined。
• 你通过/bin/sh -c来执行curl命令，其实没必要，还会带来shell注入的风险（如果环境变量里有特殊字符的话）。

正确的spawn实现代码 #

下面是封装好的异步函数，能安全地流式收集curl返回的HAR数据，并且处理各种错误场景：

async getNetworkRequests(jobId) {
  return new Promise((resolve, reject) => {
    // 提取认证信息和请求URL，让代码更清晰
    const authCredentials = `${process.env.SAUCE_USER}:${process.env.SAUCE_KEY}`;
    const harUrl = `https://api.eu-central-1.saucelabs.com/rest/v1/${process.env.SAUCE_USER}/jobs/${jobId}/assets/network.har`;

    // 直接spawn curl进程，用参数数组传递选项，避免shell注入风险
    const curlProcess = spawn('curl', [
      '-u', authCredentials,
      '--location',
      '--compressed',
      '--request', 'GET',
      harUrl
    ]);

    let accumulatedHarData = '';

    // 监听stdout的数据流，逐段拼接数据
    curlProcess.stdout.on('data', (chunk) => {
      accumulatedHarData += chunk.toString();
    });

    // 监听stderr，打印curl的错误日志（方便调试）
    curlProcess.stderr.on('data', (errorChunk) => {
      console.error(`Curl 错误输出: ${errorChunk.toString()}`);
    });

    // 进程结束时判断退出码，正常则返回数据，异常则抛出错误
    curlProcess.on('close', (exitCode) => {
      if (exitCode === 0) {
        resolve(accumulatedHarData);
      } else {
        reject(new Error(`Curl 进程异常退出，退出码: ${exitCode}`));
      }
    });

    // 处理进程启动失败的情况（比如找不到curl命令）
    curlProcess.on('error', (err) => {
      reject(new Error(`启动curl进程失败: ${err.message}`));
    });
  });
}

代码关键点说明 #

• 用Promise封装异步流程：这样你的async函数可以通过await来调用，和原来的exec用法保持一致。
• 流式数据拼接：通过stdout的data事件逐段收集数据，不管文件多大都不会触发缓冲区超限问题。
• 直接spawn curl：避免通过shell中转，既安全又减少不必要的开销，参数数组传递的方式也能避免特殊字符解析错误。
• 完整错误处理：覆盖了进程启动失败、异常退出、stderr输出等场景，方便排查问题。

使用示例 #

和你原来的用法一样，直接用await调用即可，拿到数据后可以继续后续处理（比如解析为JSON）：

async function processHarFile() {
  try {
    const harContent = await getNetworkRequests('your-job-id-here');
    // 将HAR字符串解析为JSON对象
    const harJson = JSON.parse(harContent);
    console.log('HAR文件下载并解析完成，请求数量:', harJson.log.entries.length);
    // 这里可以添加你的后续处理逻辑
  } catch (error) {
    console.error('获取HAR文件失败:', error);
  }
}

内容的提问来源于stack exchange，提问作者Kieran Marriott