使用Node.js Lambda+Puppeteer拉取Excel写入S3时格式错误问题求助
问题根源
- 浏览器上下文的
fetch返回的Response对象没有.buffer()方法,该方法仅Node.js环境的fetch实现提供 - 你用
.text()读取二进制xlsx文件时,会强制用UTF-8编码解析二进制数据,导致数据不可逆损坏,CSV是文本格式所以不受影响 page.evaluate仅支持序列化的JSON数据传输,无法直接传递二进制Buffer/Blob对象到Node.js上下文
可行解决方法
方案一:Node.js侧发起下载请求(推荐)
如果需要复用浏览器的登录态,先从Puppeteer页面对象导出Cookie,再用Node侧HTTP客户端请求下载链接,直接获取Buffer:
// 1. 从Puppeteer页面获取当前域名的Cookie const cookies = await page.cookies(new URL(downloadURL).origin); const cookieHeader = cookies.map(c => `${c.name}=${c.value}`).join('; '); // 2. Node侧直接请求下载链接,获取二进制Buffer const axios = require('axios'); const downloadRes = await axios.get(downloadURL, { headers: { Cookie: cookieHeader }, responseType: 'arraybuffer' }); const fileBuffer = Buffer.from(downloadRes.data); // 3. 上传到S3 const s3result = await s3 .upload({ Bucket: S3BucketPath, Key: `${Date.now()}.xlsx`, // 替换为对应xlsx后缀 Body: fileBuffer, ContentType: 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet' // 正确的xlsx MIME类型 }) .promise();
方案二:浏览器上下文转base64中转
如果必须在页面内发起请求,将二进制数据转为base64字符串后再传递到Node侧:
const base64Data = await page.evaluate(async (downloadURL) => { const response = await fetch(downloadURL, { method: 'GET' }); const blob = await response.blob(); // 浏览器内Blob转base64 return new Promise((resolve) => { const reader = new FileReader(); reader.onloadend = () => resolve(reader.result.split(',')[1]); // 移除base64标识前缀 reader.readAsDataURL(blob); }); }, downloadURL); // Node侧把base64转成Buffer const fileBuffer = Buffer.from(base64Data, 'base64'); // 后续S3上传逻辑和方案一完全一致
注意事项
- 所有操作避免用文本格式处理二进制文件,保证二进制流没有被强制编码转换
- S3上传的文件后缀、ContentType需要和实际文件格式匹配
内容的提问来源于stack exchange,提问作者gabe
相关产品推荐
相关产品推荐

