Scrapy处理Ajax与普通分页异常：爬取数据不全求助

1. API请求的反爬限制 #

• 检查请求头完整性：网站可能验证User-Agent、Referer、Cookie等字段，固定或缺失的请求头易被识别为爬虫，导致请求被截断或返回空数据。建议模拟真实浏览器请求头，定期轮换User-Agent。
• 查看返回状态码：若出现403、429等状态码，说明触发频率限制。需添加DOWNLOAD_DELAY设置请求延迟，或启用AutoThrottle扩展动态调整爬取速度，避免短时间内发送大量请求。
• 验证Cookie有效性：长时间爬取后Cookie可能失效，导致无法获取后续数据。可在爬虫中维护会话，或定期重新获取有效Cookie。

2. 分页逻辑的边界漏洞 #

• 确认show more终止条件：检查该div是否真的被移除，而非隐藏（如仅通过CSS控制display:none），避免爬虫提前进入数字分页阶段。可通过打印响应内容或调试模式，验证该阶段最后几个请求是否加载完所有Ajax内容。
• 检查数字分页start参数计算：普通分页的next链接start参数需确保正确累加（如每页24条则start +=24），若某页返回商品数不足24条（如最后一页），需判断返回数据量，若为0则停止爬取，避免无效请求导致终止。

3. 响应数据解析问题 #

• 验证商品提取选择器：部分商品可能因DOM结构差异未被提取，导致统计爬取量少于实际请求量。可在爬虫中打印每次请求返回的商品数，对比API返回的total字段（若存在），确认是否请求到数据但未正确解析。
• 添加异常处理：若API返回的JSON/HTML格式异常（字段缺失、结构变化），易引发未捕获异常导致爬虫终止。需添加异常捕获逻辑，记录日志并跳过异常页面继续爬取。

4. 网站分页规则限制 #

• 手动验证分页流程：模拟网站加载过程，查看show more阶段的最大加载次数（比如是否最多加载100次即2400条后才显示数字分页），以及数字分页的总页数是否与商品总数匹配（38723/24≈1614页）。若网站实际限制了可访问页数，需调整爬取策略。

内容的提问来源于stack exchange，提问作者X-something