You need to enable JavaScript to run this app. 使用Node.js Lambda+Puppeteer拉取Excel写入S3时格式错误问题求助
优惠活动
大模型
产品
解决方案
定价
更多

使用Node.js Lambda+Puppeteer拉取Excel写入S3时格式错误问题求助

问题根源

  1. 浏览器上下文的fetch返回的Response对象没有.buffer()方法,该方法仅Node.js环境的fetch实现提供
  2. 你用.text()读取二进制xlsx文件时,会强制用UTF-8编码解析二进制数据,导致数据不可逆损坏,CSV是文本格式所以不受影响
  3. page.evaluate仅支持序列化的JSON数据传输,无法直接传递二进制Buffer/Blob对象到Node.js上下文

可行解决方法

方案一:Node.js侧发起下载请求(推荐)

如果需要复用浏览器的登录态,先从Puppeteer页面对象导出Cookie,再用Node侧HTTP客户端请求下载链接,直接获取Buffer:

// 1. 从Puppeteer页面获取当前域名的Cookie
const cookies = await page.cookies(new URL(downloadURL).origin);
const cookieHeader = cookies.map(c => `${c.name}=${c.value}`).join('; ');

// 2. Node侧直接请求下载链接,获取二进制Buffer
const axios = require('axios');
const downloadRes = await axios.get(downloadURL, {
  headers: { Cookie: cookieHeader },
  responseType: 'arraybuffer'
});
const fileBuffer = Buffer.from(downloadRes.data);

// 3. 上传到S3
const s3result = await s3
  .upload({
    Bucket: S3BucketPath,
    Key: `${Date.now()}.xlsx`, // 替换为对应xlsx后缀
    Body: fileBuffer,
    ContentType: 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet' // 正确的xlsx MIME类型
  })
  .promise();

方案二:浏览器上下文转base64中转

如果必须在页面内发起请求,将二进制数据转为base64字符串后再传递到Node侧:

const base64Data = await page.evaluate(async (downloadURL) => {
  const response = await fetch(downloadURL, { method: 'GET' });
  const blob = await response.blob();
  // 浏览器内Blob转base64
  return new Promise((resolve) => {
    const reader = new FileReader();
    reader.onloadend = () => resolve(reader.result.split(',')[1]); // 移除base64标识前缀
    reader.readAsDataURL(blob);
  });
}, downloadURL);

// Node侧把base64转成Buffer
const fileBuffer = Buffer.from(base64Data, 'base64');

// 后续S3上传逻辑和方案一完全一致

注意事项

  • 所有操作避免用文本格式处理二进制文件,保证二进制流没有被强制编码转换
  • S3上传的文件后缀、ContentType需要和实际文件格式匹配

内容的提问来源于stack exchange,提问作者gabe

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 04:24:00