You need to enable JavaScript to run this app. Node.js搭配Puppeteer下载图片遇访问拒绝、文件损坏问题求助
优惠活动
大模型
产品
解决方案
定价
更多

Node.js搭配Puppeteer下载图片遇访问拒绝、文件损坏问题求助

核心问题定位
  • 你下载的图片文件损坏,本质是根本没有拿到目标图片的二进制流:服务器识别到请求不符合校验规则,直接返回了状态码403的Access Denied文本/HTML响应,原代码没有对响应状态做校验,直接把错误响应的内容写入了jpg文件,自然会出现文件损坏、权限报错的问题。
  • 之前对比请求头发现的配置差异,就是服务端拦截的核心原因:你写的下载逻辑用的是Node原生http/https模块发起的裸请求,完全脱离了Puppeteer的浏览器上下文,默认不会携带浏览器的Referer、Sec-Fetch系列校验头,和你当前开不开无头模式、设不设User-Agent没有直接关系——这个裸请求从发出的那一刻起,就已经被服务端的防盗链规则判定为异常访问了。
排查修复方向
  • 先给下载逻辑加响应状态校验,从根源避免把错误响应写入文件:在res的回调入口先判断响应状态码,如果是非2xx的错误状态,直接收集响应内容抛出错误,不进入写文件流程。
    对应可直接加的代码片段:
    // 在res回调的最开头加
    if (res.statusCode < 200 || res.statusCode >= 300) {
      let errMsg = ''
      res.on('data', chunk => errMsg += chunk)
      res.on('end', () => {
        req.destroy()
        callback(new Error(`请求失败,状态码${res.statusCode},响应内容:${errMsg}`))
      })
      return
    }
    
  • 手动补全所有和浏览器对齐的请求头,不要只设置User-Agent:对照你手动访问图片时的请求头配置,把所有缺失的校验头都加到get请求的headers参数里,对齐防盗链的校验规则:
    • 补Referer头:值填目标站点的根域名https://www.vrisko.gr/,防盗链规则首先会校验Referer是不是站点自身的来源地址
    • 对齐Sec-Fetch系列头:按照手动访问的配置填sec-fetch-site: same-origin、sec-fetch-mode: no-cors、sec-fetch-dest: image
    • 补全Accept头:填浏览器默认的图片请求Accept值image/avif,image/webp,image/apng,image/*,*/*;q=0.8,不要留默认的空Accept头
      配置示例参考:
    const req = requestCaller.get(url, {
      headers: {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        'Referer': 'https://www.vrisko.gr/',
        'Accept': 'image/avif,image/webp,image/apng,image/*,*/*;q=0.8',
        'sec-fetch-site': 'same-origin',
        'sec-fetch-mode': 'no-cors',
        'sec-fetch-dest': 'image'
      }
    }, function(res) {
      // 这里接原有的流处理逻辑
    })
    
  • 优化流管道的错误处理:原代码只监听了文件流的错误,需要给res(也就是上游的网络响应流)也加上错误监听,避免网络中断时造成文件流残留、文件损坏的问题。
更稳定的替代方案

既然已经在使用Puppeteer,完全可以绕开Node原生http模块的裸请求,直接在Puppeteer的页面上下文里发起请求获取图片内容,再写入本地:这种方式发起的请求会自动携带浏览器全量的Cookie、请求头、Referer配置,完全不会出现请求头不对被拦截的问题。
示例实现:

// 在已打开的Puppeteer页面上下文里执行
const imgBase64 = await page.evaluate(async (imgUrl) => {
  const res = await fetch(imgUrl)
  const blob = await res.blob()
  // 把二进制内容转成base64返回给Node主进程
  return btoa(String.fromCharCode(...new Uint8Array(await blob.arrayBuffer())))
}, 'https://www.vrisko.gr/logos/775165.jpg')
// 拿到base64内容后直接用fs.writeFile写入本地文件即可

这种方式发出的请求,和你手动在浏览器里打开图片的请求完全一致,不存在Referer、sec-fetch字段不匹配的问题,是应对这类带防盗链的资源下载最稳妥的方案。


内容的提问来源于stack exchange,提问作者Sgnoofa

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 00:36:08