Scrapy多爬虫独立设置CLOSESPIDER_PAGECOUNT的实现方案
多Scrapy爬虫独立配置爬取上限的实现方案
核心根因梳理
twisted的Reactor是全局单例,一旦启动运行就无法重启,这是ReactorNotRestartable报错的本质:循环内多次实例化CrawlerProcess并调用process.start(),会重复触发Reactor启动逻辑- Scrapy的配置层级为爬虫实例配置 > 项目全局配置,之前的实现把爬取上限和全局Process做硬绑定,无法动态给不同爬虫传递独立配置,导致多任务配置冲突
- 内置
CLOSESPIDER_PAGECOUNT计数器是基于请求调度逻辑实现的:高并发下请求会提前入队、批量下发,计数会把未完成响应的请求算入总数,导致实际爬取页数远超设置的上限 - 手动实例化CrawlerRunner并手动调用
reactor.run(),容易因为Reactor初始化时序问题导致事件循环绑定失败,出现爬虫初始化完成但空转的问题
分步实现代码
1. 改造爬虫类,实现独立计数逻辑
把单站点爬取上限作为爬虫构造参数传入,替代全局配置的计数逻辑,解决配置独立、计数不准的问题:
from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LxmlLinkExtractor from scrapy import signals class SpiderKncs(CrawlSpider): name = "kncs_crawler" def __init__(self, market_id, starting_url, cond_url, market_language, markets_data, keywords_table, crawl_limit, *args, **kwargs): super().__init__(*args, **kwargs) # 独立存储每个站点的爬取上限,和全局配置完全解耦 self.crawl_limit = crawl_limit self.valid_page_count = 0 self.allowed_domains = [starting_url.split("//")[1].split("/")[0]] # 动态生成匹配当前域名的爬取规则 self.rules = ( Rule( LxmlLinkExtractor(allow=rf"({starting_url}).*", unique=True), callback="parse_item", follow=True ), ) # 编译动态规则,否则CrawlSpider规则不生效 self._compile_rules() @classmethod def from_crawler(cls, crawler, *args, **kwargs): spider = super().from_crawler(crawler, *args, **kwargs) # 绑定响应到达信号,触发自定义计数 crawler.signals.connect(spider.count_valid_page, signal=signals.response_received) return spider def count_valid_page(self): # 每收到一个有效响应才计数,避免提前入队的请求导致计数不准 self.valid_page_count += 1 if self.valid_page_count >= self.crawl_limit: # 达到上限直接触发引擎关闭爬虫 self.crawler.engine.close_spider(self, reason=f"达到站点爬取上限: {self.crawl_limit}页")
2. 全局单例实例化CrawlerProcess,批量注册爬虫任务
全局只创建一次Process实例,加载公共基础配置,循环内只为每个爬虫传入独立参数,最后全局启动一次Reactor:
from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings # 全局仅实例化一次CrawlerProcess,加载公共项目配置(并发数、中间件、管道等) process = CrawlerProcess(get_project_settings()) # 循环注册所有站点的爬虫任务,仅传递独立业务参数 for market_id in markets_data["market_id"]: market_info = markets_data[markets_data["market_id"] == market_id].iloc[0] process.crawl( SpiderKncs, market_id=market_id, starting_url=market_info["specific_url"], cond_url=market_info["cond_url"], crawl_limit=market_info["crawl_limit"], market_language=market_info["language"], markets_data=markets_data, keywords_table=keywords_table ) # 所有爬虫注册完成后,仅启动一次Reactor,无重复启动问题 process.start()
对应问题的解决效果
- 彻底解决
ReactorNotRestartable报错:全程仅启动一次Reactor,无重复实例化、重复启动的逻辑 - 彻底解决配置无法独立的问题:每个爬虫的爬取上限通过构造参数传入,和全局配置完全隔离,不同站点的配置不会互相干扰
- 解决高并发下
CLOSESPIDER_PAGECOUNT失效的问题:自定义计数逻辑基于实际收到的响应数计算,不受请求队列、并发数的影响,严格按照设置的页数上限中断爬取 - 解决ConnectionLost批量报错的问题:单例Process绑定的Reactor上下文唯一,不会出现多实例Reactor互相抢占网络连接的问题
- 解决CrawlerRunner空转的问题:CrawlerProcess内部自动处理Reactor的初始化、启动、生命周期管理,不需要手动调用
reactor.run(),规避时序问题导致的空转
内容的提问来源于stack exchange,提问作者TurboMachine
相关产品推荐
相关产品推荐

