Scrapy爬虫仅抓取96条数据，无法获取全部1800+商品的问题排查

算力阿峰

2026-8-20

eBay爬虫仅抓取96条数据的原因分析

目标抓取eBay店铺（1800+商品）的商品详情页数据，但Scrapy爬虫仅返回96条结果，结合你提供的代码，可能的原因如下：

分页规则未正确匹配后续页面
你使用的分页链接选择器//a[@class='pagination__next icon-link']可能只适配了前几页的结构。eBay的分页元素可能会随着页面深度变化，或者需要滚动页面加载更多分页选项；另外，未登录状态下eBay可能限制非授权用户仅能访问前4页左右的内容（按24条/页计算，4页刚好96条），导致无法继续翻页。
商品链接提取未覆盖动态加载内容
eBay商品列表默认采用无限滚动加载，初始页面仅渲染部分商品（通常24条），剩余商品需要滚动页面触发JS加载。你的爬虫基于静态HTML解析，无法执行JS，自然抓不到后续加载的商品；同时，选择器//div[@class='s-item__info clearfix']/a可能漏抓了广告商品（带"Sponsored"标识的商品容器class可能不同），进一步减少了抓取数量。
反爬机制限制了请求范围
eBay有严格的反爬策略，你的爬虫未设置模拟用户的请求头（如User-Agent、Cookie），也未添加请求延时，很容易被识别为爬虫。平台可能会限制你的请求频率，或直接返回截断的页面内容，导致仅能抓取少量数据。
CrawlSpider规则设置不合理
第一个Rule设置了follow=True，会导致爬虫在商品详情页继续提取链接，分散爬取资源；另外，若分页链接为相对路径，或页面中存在多个符合选择器的链接（如其他分页按钮），可能导致爬虫无法正确跟进下一页。
选择器适配性问题（次要）
虽然你提到XPath一致，但部分商品详情页的标题结构可能存在差异，导致//div[@class='vim x-item-title']/h1/span/text()无法提取数据，但这只会导致部分数据为空，不会限制抓取总数，可通过查看Scrapy日志确认是否有解析报错。