Node.js下载Facebook无后缀图片URL资源失败问题咨询

之前的代码下载失败和URL是否带图片后缀没有直接关联，核心原因有三个：

• Facebook CDN配置了严格的防盗链规则，未携带合法浏览器标识、Facebook来源Referer的请求会被直接拦截，返回403状态码或错误页，拿不到真实图片数据
• 依赖的request库已停止维护超过4年，对HTTP重定向、新TLS协议的兼容存在缺陷，且代码未做异常捕获，请求失败时无法定位具体问题
• 硬编码文件后缀的逻辑完全没必要，图片格式完全可以通过响应头的content-type字段识别，不需要依赖URL路径里的后缀名

不需要额外引入第三方依赖，用Node.js原生模块即可实现，自动识别图片格式、绕过防盗链校验、处理重定向：

const fs = require('fs');
const https = require('https');
const path = require('path');

// content-type和图片后缀映射表
const contentTypeToExt = {
  'image/jpeg': '.jpg',
  'image/png': '.png',
  'image/gif': '.gif',
  'image/webp': '.webp',
  'image/bmp': '.bmp'
};

const getImageExt = (contentType) => {
  if (!contentType) return '.jpg';
  const type = contentType.split(';')[0].trim();
  return contentTypeToExt[type] || '.jpg';
};

/**
 * 下载Facebook CDN图片到本地
 * @param {string} url 图片URL
 * @param {string} saveDir 本地存储目录
 * @param {string} filePrefix 文件名前缀（不含后缀）
 * @returns {Promise<string>} 最终存储的完整文件路径
 */
const downloadFbImage = (url, saveDir, filePrefix) => {
  // 目录不存在时递归创建，避免写文件报错
  if (!fs.existsSync(saveDir)) {
    fs.mkdirSync(saveDir, { recursive: true });
  }

  return new Promise((resolve, reject) => {
    // 模拟正常浏览器请求头，绕过防盗链校验
    const reqOptions = {
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
        'Referer': 'https://www.facebook.com/',
        'Accept': 'image/avif,image/webp,image/apng,image/*,*/*;q=0.8'
      }
    };

    const req = https.get(url, reqOptions, (res) => {
      // 手动处理3xx重定向（原生https模块默认不自动跟随跳转）
      if (res.statusCode >= 300 && res.statusCode < 400 && res.headers.location) {
        res.resume();
        downloadFbImage(res.headers.location, saveDir, filePrefix)
          .then(resolve)
          .catch(reject);
        return;
      }

      // 状态码非200直接返回错误
      if (res.statusCode !== 200) {
        res.resume();
        reject(new Error(`请求异常，状态码：${res.statusCode}`));
        return;
      }

      // 从响应头识别图片格式，不依赖URL后缀
      const ext = getImageExt(res.headers['content-type']);
      const saveFullPath = path.join(saveDir, `${filePrefix}${ext}`);
      const writeStream = fs.createWriteStream(saveFullPath);

      res.pipe(writeStream);
      writeStream.on('finish', () => {
        writeStream.close();
        resolve(saveFullPath);
      });
      writeStream.on('error', (err) => {
        // 写入失败时删除残留的空文件
        fs.unlink(saveFullPath, () => {});
        reject(err);
      });
    });

    req.on('error', reject);
  });
};

// 调用示例
(async () => {
  try {
    const targetUrl = '替换为实际的Facebook图片URL';
    const storedPath = await downloadFbImage(targetUrl, './fb_ads_images', `post_${Date.now()}`);
    console.log('下载完成，文件路径：', storedPath);
  } catch (err) {
    console.error('下载失败：', err);
  }
})();

• 不要通过URL后缀判断图片格式：主流CDN的图片资源URL普遍携带大量查询参数，部分动态接口路径甚至不带任何文件后缀，通过响应头content-type识别格式的准确率是100%，完全不需要依赖URL规则
• 请求头是下载成功的核心：如果缺失合法UA、Referer头，哪怕URL本身在浏览器里能打开，代码请求也会被Facebook的反爬策略拦截，返回403错误，和使用什么下载工具无关
• 废弃request库的使用：该库自2020年起已停止所有维护，存在兼容性问题和安全隐患，Node.js原生的https模块完全可以覆盖下载需求，不需要额外引入第三方HTTP库
• 批量下载时控制并发：Facebook CDN有IP频率限制，单IP并发请求超过5很容易被临时封禁，建议批量下载时并发数控制在3以内，请求间隔1秒以上
• 服务器部署时确保网络能正常连通fbcdn.net域名，国内服务器如果没有合规的跨境网络通道，请求超时属于网络环境问题，和代码逻辑无关

内容的提问来源于stack exchange，提问作者Anibal Gaytán Ramírez