Cloudflare防护服务器：浏览器与fetch()请求响应不一致求助

你遇到的是Cloudflare的人机验证挑战拦截：浏览器能正常下载是因为自动执行了Cloudflare的验证脚本并通过了校验，而纯fetch请求只会返回挑战页面的HTML，不会执行JS完成验证，自然拿不到真实资源。以下是可行的解决方法：

方法一：手动解析Cloudflare挑战参数，完成验证流程 #

1. 提取返回HTML中的_cf_chl_opt参数：里面的cvId、cZone、cUPMDTk是挑战核心参数，同时保留请求返回的Cookie（比如__cf_bm）。
2. 构造验证请求：向目标域名的/cdn-cgi/challenge-platform/h/b/orchestrate/chl_page路径发送POST请求，带上上述参数和Cookie，请求头要和浏览器保持一致（UA、Accept等）。
3. 获取验证Cookie：验证通过后，响应会返回cf_clearance Cookie，后续的fetch请求带上这个Cookie，就能绕过挑战获取真实资源。

注意：Cloudflare的挑战接口和参数格式会不定期更新，需要实时解析返回的HTML内容适配。

方法二：用无头浏览器替代纯fetch请求 #

直接使用Puppeteer、Playwright这类模拟完整浏览器环境的工具，它们会自动执行Cloudflare的验证脚本，完成校验后再获取资源，稳定性远高于手动解析。

示例Puppeteer代码：

const puppeteer = require('puppeteer');

async function fetchProtectedResource(url) {
  const browser = await puppeteer.launch({ headless: 'new' });
  const page = await browser.newPage();
  
  // 完全模拟浏览器UA
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');
  
  // 访问目标链接，等待Cloudflare验证完成
  await page.goto(url, { waitUntil: 'networkidle2' });
  
  // 根据页面结构获取真实下载链接（示例：假设页面有下载按钮）
  const realDownloadUrl = await page.evaluate(() => {
    const downloadBtn = document.querySelector('a[download]');
    return downloadBtn ? downloadBtn.href : window.location.href;
  });
  
  // 直接获取资源内容
  const resourceResponse = await page.goto(realDownloadUrl);
  const resourceBuffer = await resourceResponse.buffer();
  
  await browser.close();
  return resourceBuffer;
}

关键注意事项 #

• 控制请求频率：Cloudflare会根据IP请求频率调整验证强度，频繁请求可能触发验证码拦截，此时需要配合验证码服务或降低请求频次。
• 保持请求参数一致：UA、Referer、Cookie等必须和浏览器完全匹配，尤其是__cf_bm会话Cookie，缺失会直接触发挑战。
• 遵守网站规则：不要滥用该方法，需符合目标网站的使用条款和robots协议，避免IP被封禁。

内容的提问来源于stack exchange，提问作者Mderra