You need to enable JavaScript to run this app. scrapy-rotating-proxies配置:实现每请求换IP,禁用代理重激活
优惠活动
大模型
产品
解决方案
定价
更多

scrapy-rotating-proxies配置:实现每请求换IP,禁用代理重激活

Scrapy 代理池问题排查与优化

核心问题根因

  • 自动重激活失效IP的触发逻辑:scrapy-rotating-proxies默认会对达到退避时间的失效代理进行重新激活,分配请求时不会优先耗尽未校验状态的代理,因此会出现还有87个未使用IP时,重复调用已失效IP的情况
  • 手动重试的IP更换逻辑:只有被BanDetectionMiddleware标记为失效的代理,才会被自动排除,手动在parse方法里yield的重试请求,中间件不会将之前使用的代理标记为失效,因此可能重复分配已经失效过的IP,无法实现每个请求使用独立新IP的效果
  • 代理加载不全的隐藏原因:start_requests中设置的meta={'proxy': None}会强制跳过代理中间件的分配流程,直接使用本机IP发请求,进一步降低了代理池的使用率

对应解决配置

  1. 关闭自动重激活失效代理功能
    在custom_settings中新增配置,让被标记为失效的IP永远不会被重新分配,优先使用所有未校验状态的代理:
'ROTATING_PROXY_BACKOFF_STOPREACTIVATE': True
  1. 调整代理池运行参数
    调整现有custom_settings,移除影响代理分配的配置,保留原有节流规则:
custom_settings = {
    # 节流配置保留
    'AUTOTHROTTLE_ENABLED': True,
    'AUTOTHROTTLE_START_DELAY': 1,
    'AUTOTHROTTLE_MAX_DELAY': 60,
    'AUTOTHROTTLE_TARGET_CONCURRENCY': 1.0,
    'CONCURRENT_REQUESTS': 1,
    # 代理池优化配置
    'ROTATING_PROXY_PAGE_RETRY_TIMES': 5,
    'ROTATING_PROXY_BACKOFF_STOPREACTIVATE': True,
    'DOWNLOADER_MIDDLEWARES': {
        'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
        'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 500,
        'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
        'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
    },
    'ROTATING_PROXY_LIST_PATH': path,
}
  1. 优化重试逻辑
    将手动yield重试请求的逻辑改为触发中间件失效标记,让代理中间件自动排除当前使用的IP,分配新的独立IP完成重试,同时增加空响应的判断逻辑:
def parse(self, response, subcat, category):
    try:
        jdata = json.loads(response.body.decode('utf-8'))
        # 增加空JSON、异常返回的判断
        if not jdata or 'items' not in jdata:
            raise ValueError("代理返回空响应")
    except Exception as e:
        print(f"处理{subcat}失败,自动切换代理重试,错误原因: {e}")
        # 抛出网络异常触发代理中间件的失效标记流程
        from twisted.internet.error import ConnectionLost
        raise ConnectionLost("代理响应无效") from e
    else:
        items = jdata['items']
        # 原有数据处理、数据库写入逻辑全部保留
        for item in items:
            # 原有业务逻辑
  1. 移除强制禁用代理的配置
    删除start_requests中meta={'proxy': None}的配置,否则中间件会跳过代理分配步骤,直接使用本机IP发请求:
yield Request(
    url=url, 
    headers=headers, 
    callback=self.parse,
    # 移除 meta={'proxy': None} 配置行
    cb_kwargs={'subcat': d['subcategory name'], 'category': category.category}
)

多代理API对接优化

如果需要对接多个代理API获取IP,不要依赖文件存储代理的方式,可在爬虫初始化时将所有API返回的代理列表直接传入ROTATING_PROXY_LIST参数,实现全量加载所有可用IP,保证每个请求都能分配到独立的未使用IP,避免出现代理池加载不全的问题。

内容的提问来源于stack exchange,提问作者FAIZ AHMED

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 14:06:03