scrapy-rotating-proxies配置:实现每请求换IP,禁用代理重激活
Scrapy 代理池问题排查与优化
核心问题根因
- 自动重激活失效IP的触发逻辑:scrapy-rotating-proxies默认会对达到退避时间的失效代理进行重新激活,分配请求时不会优先耗尽未校验状态的代理,因此会出现还有87个未使用IP时,重复调用已失效IP的情况
- 手动重试的IP更换逻辑:只有被BanDetectionMiddleware标记为失效的代理,才会被自动排除,手动在parse方法里yield的重试请求,中间件不会将之前使用的代理标记为失效,因此可能重复分配已经失效过的IP,无法实现每个请求使用独立新IP的效果
- 代理加载不全的隐藏原因:start_requests中设置的
meta={'proxy': None}会强制跳过代理中间件的分配流程,直接使用本机IP发请求,进一步降低了代理池的使用率
对应解决配置
- 关闭自动重激活失效代理功能
在custom_settings中新增配置,让被标记为失效的IP永远不会被重新分配,优先使用所有未校验状态的代理:
'ROTATING_PROXY_BACKOFF_STOPREACTIVATE': True
- 调整代理池运行参数
调整现有custom_settings,移除影响代理分配的配置,保留原有节流规则:
custom_settings = { # 节流配置保留 'AUTOTHROTTLE_ENABLED': True, 'AUTOTHROTTLE_START_DELAY': 1, 'AUTOTHROTTLE_MAX_DELAY': 60, 'AUTOTHROTTLE_TARGET_CONCURRENCY': 1.0, 'CONCURRENT_REQUESTS': 1, # 代理池优化配置 'ROTATING_PROXY_PAGE_RETRY_TIMES': 5, 'ROTATING_PROXY_BACKOFF_STOPREACTIVATE': True, 'DOWNLOADER_MIDDLEWARES': { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, 'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 500, 'rotating_proxies.middlewares.RotatingProxyMiddleware': 610, 'rotating_proxies.middlewares.BanDetectionMiddleware': 620, }, 'ROTATING_PROXY_LIST_PATH': path, }
- 优化重试逻辑
将手动yield重试请求的逻辑改为触发中间件失效标记,让代理中间件自动排除当前使用的IP,分配新的独立IP完成重试,同时增加空响应的判断逻辑:
def parse(self, response, subcat, category): try: jdata = json.loads(response.body.decode('utf-8')) # 增加空JSON、异常返回的判断 if not jdata or 'items' not in jdata: raise ValueError("代理返回空响应") except Exception as e: print(f"处理{subcat}失败,自动切换代理重试,错误原因: {e}") # 抛出网络异常触发代理中间件的失效标记流程 from twisted.internet.error import ConnectionLost raise ConnectionLost("代理响应无效") from e else: items = jdata['items'] # 原有数据处理、数据库写入逻辑全部保留 for item in items: # 原有业务逻辑
- 移除强制禁用代理的配置
删除start_requests中meta={'proxy': None}的配置,否则中间件会跳过代理分配步骤,直接使用本机IP发请求:
yield Request( url=url, headers=headers, callback=self.parse, # 移除 meta={'proxy': None} 配置行 cb_kwargs={'subcat': d['subcategory name'], 'category': category.category} )
多代理API对接优化
如果需要对接多个代理API获取IP,不要依赖文件存储代理的方式,可在爬虫初始化时将所有API返回的代理列表直接传入ROTATING_PROXY_LIST参数,实现全量加载所有可用IP,保证每个请求都能分配到独立的未使用IP,避免出现代理池加载不全的问题。
内容的提问来源于stack exchange,提问作者FAIZ AHMED
相关产品推荐
相关产品推荐

