You need to enable JavaScript to run this app. Scrapy多爬虫独立设置CLOSESPIDER_PAGECOUNT的实现方案
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy多爬虫独立设置CLOSESPIDER_PAGECOUNT的实现方案

多Scrapy爬虫独立配置爬取上限的实现方案

核心根因梳理

  • twisted 的Reactor是全局单例,一旦启动运行就无法重启,这是ReactorNotRestartable报错的本质:循环内多次实例化CrawlerProcess并调用process.start(),会重复触发Reactor启动逻辑
  • Scrapy的配置层级为爬虫实例配置 > 项目全局配置,之前的实现把爬取上限和全局Process做硬绑定,无法动态给不同爬虫传递独立配置,导致多任务配置冲突
  • 内置CLOSESPIDER_PAGECOUNT 计数器是基于请求调度逻辑实现的:高并发下请求会提前入队、批量下发,计数会把未完成响应的请求算入总数,导致实际爬取页数远超设置的上限
  • 手动实例化CrawlerRunner并手动调用reactor.run(),容易因为Reactor初始化时序问题导致事件循环绑定失败,出现爬虫初始化完成但空转的问题

分步实现代码

1. 改造爬虫类,实现独立计数逻辑

把单站点爬取上限作为爬虫构造参数传入,替代全局配置的计数逻辑,解决配置独立、计数不准的问题:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LxmlLinkExtractor
from scrapy import signals

class SpiderKncs(CrawlSpider):
    name = "kncs_crawler"

    def __init__(self, market_id, starting_url, cond_url, market_language, markets_data, keywords_table, crawl_limit, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 独立存储每个站点的爬取上限,和全局配置完全解耦
        self.crawl_limit = crawl_limit
        self.valid_page_count = 0
        self.allowed_domains = [starting_url.split("//")[1].split("/")[0]]
        # 动态生成匹配当前域名的爬取规则
        self.rules = (
            Rule(
                LxmlLinkExtractor(allow=rf"({starting_url}).*", unique=True),
                callback="parse_item",
                follow=True
            ),
        )
        # 编译动态规则,否则CrawlSpider规则不生效
        self._compile_rules()

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super().from_crawler(crawler, *args, **kwargs)
        # 绑定响应到达信号,触发自定义计数
        crawler.signals.connect(spider.count_valid_page, signal=signals.response_received)
        return spider

    def count_valid_page(self):
        # 每收到一个有效响应才计数,避免提前入队的请求导致计数不准
        self.valid_page_count += 1
        if self.valid_page_count >= self.crawl_limit:
            # 达到上限直接触发引擎关闭爬虫
            self.crawler.engine.close_spider(self, reason=f"达到站点爬取上限: {self.crawl_limit}页")

2. 全局单例实例化CrawlerProcess,批量注册爬虫任务

全局只创建一次Process实例,加载公共基础配置,循环内只为每个爬虫传入独立参数,最后全局启动一次Reactor:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

# 全局仅实例化一次CrawlerProcess,加载公共项目配置(并发数、中间件、管道等)
process = CrawlerProcess(get_project_settings())

# 循环注册所有站点的爬虫任务,仅传递独立业务参数
for market_id in markets_data["market_id"]:
    market_info = markets_data[markets_data["market_id"] == market_id].iloc[0]
    process.crawl(
        SpiderKncs,
        market_id=market_id,
        starting_url=market_info["specific_url"],
        cond_url=market_info["cond_url"],
        crawl_limit=market_info["crawl_limit"],
        market_language=market_info["language"],
        markets_data=markets_data,
        keywords_table=keywords_table
    )

# 所有爬虫注册完成后,仅启动一次Reactor,无重复启动问题
process.start()

对应问题的解决效果

  • 彻底解决ReactorNotRestartable报错:全程仅启动一次Reactor,无重复实例化、重复启动的逻辑
  • 彻底解决配置无法独立的问题:每个爬虫的爬取上限通过构造参数传入,和全局配置完全隔离,不同站点的配置不会互相干扰
  • 解决高并发下CLOSESPIDER_PAGECOUNT失效的问题:自定义计数逻辑基于实际收到的响应数计算,不受请求队列、并发数的影响,严格按照设置的页数上限中断爬取
  • 解决ConnectionLost批量报错的问题:单例Process绑定的Reactor上下文唯一,不会出现多实例Reactor互相抢占网络连接的问题
  • 解决CrawlerRunner空转的问题:CrawlerProcess内部自动处理Reactor的初始化、启动、生命周期管理,不需要手动调用reactor.run(),规避时序问题导致的空转

内容的提问来源于stack exchange,提问作者TurboMachine

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 10:45:03