Python爬虫遇requests.exceptions.TooManyRedirects问题求助

这种情况我爬资讯类和电商网站时也碰到过，显然目标网站的反爬机制已经精准识别出你的爬虫行为了——而且不是靠换UA就能绕过的基础检测，咱们一步步拆解问题和可行的解决方案：

为什么换UA和免费代理没用？ #

• 免费代理池里的IP大多已经被目标网站拉黑，甚至很多代理本身就存在跳转问题，换过去等于直接踩进黑名单。
• 网站大概率用了浏览器指纹识别（比如Canvas、WebGL指纹，或是JS生成的设备标识），你只用requests改UA，其他特征（比如缺少JS渲染痕迹、请求头不全）还是会暴露爬虫身份，哪怕换代理也会被关联识别。
• 30次请求的阈值很可能是网站给单IP/单会话设置的请求上限，触发后直接强制重定向到主页，直到你更换干净的IP。

具体解决办法 #

• 改用浏览器自动化工具替代纯requests
  别再用requests发纯HTTP请求了，换成Selenium、Playwright这类工具，它们会模拟真实浏览器的所有行为：加载静态资源、执行JS、生成真实的浏览器指纹，网站很难区分你是爬虫还是真实用户。举个Playwright的简单示例：

  from playwright.sync_api import sync_playwright
  import random
  import time
  
  with sync_playwright() as p:
      browser = p.chromium.launch(headless=False)
      # 每次请求用新上下文，清空会话痕迹
      context = browser.new_context(proxy={"server": "http://你的付费代理IP:端口"})
      page = context.new_page()
      # 模拟用户随机停顿
      time.sleep(random.uniform(1, 3))
      page.goto("目标页面URL")
      # 处理页面内容...
      context.close()
      browser.close()
  

• 升级代理到付费高匿IP
  免费代理基本没用，换那种提供“独享高匿IP”的付费服务，并且每个请求都换一个新IP，同时确保代理支持HTTPS，避免请求过程中泄露真实IP。另外，尽量选和目标网站同地区的IP，更贴近真实用户行为。

• 完全模拟真实请求的细节
  用浏览器开发者工具（F12）抓取真实用户的请求，把所有请求头（包括Referer、Origin、Accept-Language、甚至Cookie）都复制过来，不要只改UA。同时，请求间隔要随机化（比如1-5秒之间），不要固定时间发送请求，避免被识别为机器行为。

• 及时重置会话和Cookie
  每次换IP的时候，一定要清空之前的Cookie和会话状态。比如用requests的话，每次都创建新的Session()对象；用浏览器工具的话，每次打开新的上下文（Context），不要复用同一个会话。

• 控制单IP的请求次数
  既然30次就触发限制，那你就把单IP的请求次数控制在25次以内，到数就换IP，提前规避阈值触发。

如果试过这些方法还是不行，那可能网站用了更严格的验证（比如Cloudflare的人机验证），这时候可能需要结合验证码识别服务，或者放慢爬取速度，模拟更真实的用户操作（比如随机点击页面元素、滚动页面）。

内容的提问来源于stack exchange，提问作者druidmaciek