Scrapy爬虫初始速度快后逐渐变慢的原因排查求助

结合你描述的现象（初始快、逐渐变慢、重启恢复、已排除服务器拦截与硬件问题），以下是几个最可能的原因：

• 调度器请求队列的累积与内存碎片化
  从启动日志看，爬虫恢复时已有97145个请求待调度。随着爬取推进，待处理请求队列持续膨胀，Scrapy调度器在管理大规模内存队列时会产生内存碎片化，导致请求调度的效率逐步下降。重启后队列被重置，调度器回到高效状态，这和你停止任务后速度回升的表现完全吻合。

• 请求去重的性能损耗
  Scrapy默认使用RFPDupeFilter基于内存指纹集合做去重。当爬取页面量达到数十万级后，指纹集合会变得异常庞大，每次新请求的去重检查都会变成耗时的集合查找操作，这个开销会随爬取时间推移不断放大，直接拖慢整体爬取速度。

• Item管道的阻塞堆积
  如果你的Item管道包含IO密集型操作（比如写入数据库、本地文件）或同步处理逻辑，当爬取速度超过管道的处理能力时，Item会在管道中堆积，导致爬虫的回调函数无法及时释放，进而限制后续请求的发起。重启后管道中的堆积被清空，处理能力恢复，爬虫速度回到正常水平。

• 自定义中间件的内存泄漏
  若你编写了自定义的爬虫中间件或下载中间件，存在未及时释放对象、全局变量持续累积数据等内存泄漏问题，随着爬虫运行时间变长，内存碎片化或特定对象的累积会增大Python解释器的GC压力，最终影响爬取效率。

• DNS缓存或连接池退化
  虽然仅设置了单个目标域名，但长时间运行后，DNS缓存可能出现异常，或者连接池中的连接未被正确复用/回收，导致每次请求需要重新建立连接的比例上升，增加了请求的整体耗时，拖慢爬取速度。重启爬虫会重置DNS缓存和连接池，恢复初始的高效连接状态。

内容的提问来源于stack exchange，提问作者divinem