Node.js搭配Puppeteer下载图片遇访问拒绝、文件损坏问题求助
核心问题定位
- 你下载的图片文件损坏,本质是根本没有拿到目标图片的二进制流:服务器识别到请求不符合校验规则,直接返回了状态码403的
Access Denied文本/HTML响应,原代码没有对响应状态做校验,直接把错误响应的内容写入了jpg文件,自然会出现文件损坏、权限报错的问题。 - 之前对比请求头发现的配置差异,就是服务端拦截的核心原因:你写的下载逻辑用的是Node原生
http/https模块发起的裸请求,完全脱离了Puppeteer的浏览器上下文,默认不会携带浏览器的Referer、Sec-Fetch系列校验头,和你当前开不开无头模式、设不设User-Agent没有直接关系——这个裸请求从发出的那一刻起,就已经被服务端的防盗链规则判定为异常访问了。
排查修复方向
- 先给下载逻辑加响应状态校验,从根源避免把错误响应写入文件:在
res的回调入口先判断响应状态码,如果是非2xx的错误状态,直接收集响应内容抛出错误,不进入写文件流程。
对应可直接加的代码片段:// 在res回调的最开头加 if (res.statusCode < 200 || res.statusCode >= 300) { let errMsg = '' res.on('data', chunk => errMsg += chunk) res.on('end', () => { req.destroy() callback(new Error(`请求失败,状态码${res.statusCode},响应内容:${errMsg}`)) }) return } - 手动补全所有和浏览器对齐的请求头,不要只设置User-Agent:对照你手动访问图片时的请求头配置,把所有缺失的校验头都加到
get请求的headers参数里,对齐防盗链的校验规则:- 补
Referer头:值填目标站点的根域名https://www.vrisko.gr/,防盗链规则首先会校验Referer是不是站点自身的来源地址 - 对齐Sec-Fetch系列头:按照手动访问的配置填
sec-fetch-site: same-origin、sec-fetch-mode: no-cors、sec-fetch-dest: image - 补全Accept头:填浏览器默认的图片请求Accept值
image/avif,image/webp,image/apng,image/*,*/*;q=0.8,不要留默认的空Accept头
配置示例参考:
const req = requestCaller.get(url, { headers: { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", 'Referer': 'https://www.vrisko.gr/', 'Accept': 'image/avif,image/webp,image/apng,image/*,*/*;q=0.8', 'sec-fetch-site': 'same-origin', 'sec-fetch-mode': 'no-cors', 'sec-fetch-dest': 'image' } }, function(res) { // 这里接原有的流处理逻辑 }) - 补
- 优化流管道的错误处理:原代码只监听了文件流的错误,需要给
res(也就是上游的网络响应流)也加上错误监听,避免网络中断时造成文件流残留、文件损坏的问题。
更稳定的替代方案
既然已经在使用Puppeteer,完全可以绕开Node原生http模块的裸请求,直接在Puppeteer的页面上下文里发起请求获取图片内容,再写入本地:这种方式发起的请求会自动携带浏览器全量的Cookie、请求头、Referer配置,完全不会出现请求头不对被拦截的问题。
示例实现:
// 在已打开的Puppeteer页面上下文里执行 const imgBase64 = await page.evaluate(async (imgUrl) => { const res = await fetch(imgUrl) const blob = await res.blob() // 把二进制内容转成base64返回给Node主进程 return btoa(String.fromCharCode(...new Uint8Array(await blob.arrayBuffer()))) }, 'https://www.vrisko.gr/logos/775165.jpg') // 拿到base64内容后直接用fs.writeFile写入本地文件即可
这种方式发出的请求,和你手动在浏览器里打开图片的请求完全一致,不存在Referer、sec-fetch字段不匹配的问题,是应对这类带防盗链的资源下载最稳妥的方案。
内容的提问来源于stack exchange,提问作者Sgnoofa
相关产品推荐
相关产品推荐

