Scrapy爬虫未遍历所有条目问题排查（附代码与运行日志）

请提供以下具体内容 #

• 项目Settings配置代码片段（关键配置如去重、并发、延迟等）
• Item Pipeline完整实现代码
• Item定义代码
• Spider核心代码（包含请求生成、条目解析、分页处理逻辑）
• 运行时终端日志完整内容

常见排查方向 #

1. 去重机制误过滤 #

检查Settings中的去重相关配置：

# Settings.py 中相关配置
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'
DUPEFILTER_DEBUG = False  # 建议临时设为True查看去重日志

开启 DUPEFILTER_DEBUG 后，运行爬虫可查看哪些URL被判定为重复，确认是否有合法目标条目被误过滤。

2. 分页逻辑缺失或错误 #

• 确认分页参数是否正确：比如页码范围是否覆盖所有页面，是否存在动态生成的分页标识（如加密的next page token）未解析
• 查看终端日志中的请求记录，检查是否所有分页的请求都被正常调度和响应

3. 条目解析选择器覆盖不全 #

• 检查XPath/CSS选择器是否能匹配到所有目标条目：比如页面中是否有不同布局的条目，选择器只匹配了其中一种
• 若目标内容是动态加载（如滚动加载、AJAX请求），常规Scrapy无法抓取，需结合Selenium、Scrapy-Splash等工具处理

4. Pipeline或中间件拦截Item #

• 临时注释Settings中的 ITEM_PIPELINES 配置，重新运行爬虫，若能抓取到所有条目，则说明Pipeline中存在过滤逻辑导致Item被丢弃
• 检查Downloader Middleware是否有异常拦截请求或响应的代码

5. 网站反爬限制 #

• 查看终端日志中的响应状态码，若存在大量403、429等状态码，说明被反爬限制，需调整：
  • 增大 DOWNLOAD_DELAY 值
  • 配置随机请求头（User-Agent池）
  • 使用代理IP
• 检查Settings中 CONCURRENT_REQUESTS、AUTOTHROTTLE_ENABLED 等并发控制配置是否合理

内容的提问来源于stack exchange，提问作者Shadobladez