Scrapy运行时如何动态修改CONCURRENT_REQUESTS并发请求数配置

Scrapy的custom_settings仅在爬虫初始化、配置加载阶段被读取，爬虫启动后修改该属性不会同步到已经完成初始化的下载器（Downloader）组件中，因此不会生效。

核心逻辑是直接修改Scrapy下载器中负责并发控制的slot的并发配置，具体操作如下：

单域名爬虫快速调整 #

你可以在爬虫的任意回调逻辑中，通过crawler实例直接修改默认下载slot的并发数：

# 示例：将并发数调整为15
new_concurrent = 15
self.crawler.engine.downloader.slots["default"].concurrency = new_concurrent

多域名爬虫针对性调整 #

如果你的爬虫配置了多域名分slot调度，需要针对对应域名的slot修改配置：

# 示例：调整example.com域名的并发数为8
target_domain = "example.com"
downloader = self.crawler.engine.downloader
if target_domain in downloader.slots:
    downloader.slots[target_domain].concurrency = 8

自动动态调整实现方案 #

如果需要根据爬取速率自动调整并发，建议配合Scrapy扩展实现：

• 监听response_received等信号，统计单位时间内的响应数量，计算当前爬取速率
• 设定速率阈值，速率低于下限时调高并发数，速率高于上限时调低并发数
• 调整逻辑直接复用上面修改slot并发数的代码即可

• 调整后的并发数不会立刻生效，需要等当前正在处理的请求完成后，新的请求才会按照新的并发阈值调度
• 如果开启了AUTOTHROTTLE扩展，需要避免自定义调整逻辑和自动限速逻辑冲突，建议要么关闭AUTOTHROTTLE，要么直接在AUTOTHROTTLE的源码基础上修改适配你的需求
• 调整逻辑要添加防抖机制，不要频繁修改并发数，避免爬虫性能波动，也避免给目标站点造成异常压力

内容的提问来源于stack exchange，提问作者gameboyring