使用Python请求curseforge.com始终返回403响应如何解决

问题原因 #

CurseForge站点全站接入了Cloudflare反爬防护，普通requests请求缺少浏览器指纹、验证Cookies等必要信息，会被直接拦截返回403。

可行解决方案 #

• 方案1：使用专门绕过Cloudflare验证的cloudscraper库
  先安装依赖：

  pip install cloudscraper
  

  替换原有代码即可，示例：

  import cloudscraper
  
  link = 'https://www.curseforge.com/minecraft/mc-mods/jei'
  scraper = cloudscraper.create_scraper(browser={
      'browser': 'chrome',
      'platform': 'windows',
      'desktop': True
  })
  req = scraper.get(link)
  print(req.status_code)
  print(req.text)
  

  这个方案默认会自动处理Cloudflare的5秒盾、验证Cookies和指纹校验，大部分场景可以直接通过。
• 方案2：调用CurseForge官方公开API
  不需要爬取前端页面，申请API密钥后直接调用官方接口即可获取模组的所有结构化信息，稳定性更高，完全不会触发反爬限制。
• 方案3：使用带浏览器内核的自动化工具
  如果需要模拟更复杂的浏览器操作，可以使用Selenium、Playwright等工具启动真实浏览器发起请求，能够完全模拟普通用户的访问行为，不会被拦截。

内容的提问来源于stack exchange，提问作者Lun