多Spider的Scrapy项目中CONCURRENT_REQUESTS的正确配置及疑问

• CONCURRENT_REQUESTS是Scrapy引擎层面的全局并发请求总数上限，所有同时运行的Spider的并发请求加起来不能超过这个值，并非单个Spider的并发上限。
• 你的推测完全正确：当同时运行多个Spider时，确实需要把这个值设得更高（比如>=100），否则整体并发能力会被限制。
• 要控制单个域名的并发请求数，CONCURRENT_REQUESTS_PER_DOMAIN是合适的配置——它会限制每个域名的并发请求量，各个Spider爬取对应域名时都会遵循这个规则；如果需要单独给某个Spider设置专属的并发上限，也可以在该Spider的代码里通过custom_settings参数覆盖全局的CONCURRENT_REQUESTS值。
• 注意：调整并发值时要兼顾服务器性能和目标网站的反爬机制，过高的并发可能触发反爬策略，也会给自身服务器带来额外负载，需要根据实际情况测试调整。

内容的提问来源于stack exchange，提问作者Jalil SA