Scrapy中CONCURRENT_REQUESTS_PER_IP配置与代理的协同疑问

1. CONCURRENT_REQUESTS_PER_IP的作用及与CONCURRENT_REQUESTS的协同机制 #

• CONCURRENT_REQUESTS_PER_IP的作用：限制单个IP地址同时发起的并发请求数，这里的IP既可以是目标网站的服务器IP，也可以是你使用的代理IP。核心目的是避免对单一IP（比如目标服务器或某台代理）发起过多并发请求，既能降低被反爬拦截的概率，也能减少对目标服务的冲击。
• 与CONCURRENT_REQUESTS的协同逻辑：CONCURRENT_REQUESTS是Scrapy全局并发请求的总上限，而CONCURRENT_REQUESTS_PER_IP是单IP维度的并发上限，两者属于双重约束：
  • 若可用独立IP数量少，比如仅3个IP，单IP上限设为10、全局上限设为50，实际最大并发为3*10=30，达不到全局上限；
  • 若可用IP足够多，比如20个IP，单IP上限10、全局上限150，实际最大并发为150，每个IP的并发数会被控制在7-8左右（150/20），因为全局上限先被触发。

2. 代理服务商侧处理IP轮换时，CONCURRENT_REQUESTS_PER_IP=10的实际效果 #

当代理服务商在自身系统中自动处理IP轮换时，Scrapy的CONCURRENT_REQUESTS_PER_IP依然会对每一个服务商分配过来的独立IP生效。也就是说，每一个被服务商推过来的新IP，Scrapy都会限制它同时最多跑10个并发请求。如果服务商的轮换频率很高，Scrapy会对每一个切换后的IP独立应用这个10的上限，不会限制服务商所有IP的总并发数。

3. 特定配置下的并发分配规则 #

当你配置CONCURRENT_REQUESTS_PER_IP=5、CONCURRENT_REQUESTS=150，且服务商提供75个可用代理IP时：

• 全局上限150不会直接覆盖单IP的5的限制，两者同时生效；
• 由于75个IP跑满单IP上限的总并发是75*5=375，远大于全局的150，所以全局上限会先触发。此时Scrapy会在75个IP中分配并发请求，每个IP的并发数约为2（150÷75），无法让每个IP都达到5的单IP上限。

内容的提问来源于stack exchange，提问作者Carlos Rocha