Scrapy爬取Phoenix Contact产品时标题不全、结果数不稳定问题求解
爬取效果优化方案
异常核心原因定位
- Cookie会话管理逻辑不符合Scrapy运行机制,每个请求对应独立无状态会话,服务器会根据零散访问状态动态截断返回内容,导致累计爬取量远低于实际产品总量
- 产品链接解析的选择器匹配范围过窄,遗漏无onclick属性的产品跳转入口,造成内容漏爬
- 分页链接拼接逻辑冗余,存在路径拼接错误导致分页跳转失效的风险
- 缺失请求失败重试机制,临时网络波动或服务器拦截的请求直接丢失,每次运行的丢失量无规律,最终结果数量不稳定
- 未配置反爬适配规则,短时间高密度请求易触发服务器拦截,进一步加剧内容漏爬
具体代码调整方案
1. 修正Cookie会话管理逻辑
Scrapy内置Cookie中间件的cookiejarmeta参数为会话隔离标识,并非需要手动填充Cookie内容。固定所有请求使用同一个会话标识,即可让整个爬取过程共享一套完整的会话Cookie,保证服务器返回全量页面内容。
移除手动解析响应头Set-Cookie的冗余代码,调整后的分类遍历逻辑如下:
def parse(self, response): for item in response.xpath("//div[./h3[contains(.,'Category')]]/ul/li/a/@href").getall(): item_link = response.urljoin(item.strip()) if "/products/list_pages/" in item_link: yield scrapy.Request( item_link, headers=self.headers, meta={'cookiejar': 'fixed_crawl_session'}, # 固定会话标识,全局请求共享Cookie callback=self.parse_all_links ) else: yield scrapy.Request( item_link, headers=self.headers, meta={'cookiejar': 'fixed_crawl_session'}, callback=self.parse )
2. 优化列表页解析逻辑
- 放宽产品链接选择器的匹配范围,覆盖所有产品卡片下的跳转入口,避免漏爬
- 移除分页跳转时手动解析base标签的冗余逻辑,直接使用
response.urljoin拼接相对路径,消除拼接错误风险 - 为产品详情请求补充失败回调,临时失败的请求自动重新入队
调整后的列表页处理逻辑如下:
def parse_all_links(self, response): # 放宽选择器范围,匹配所有产品卡片下的跳转链接 product_links = response.css("[class='pxc-sales-data-wrp'][data-product-key] h3 > a::attr(href)").getall() for item in product_links: target_link = response.urljoin(item.strip()) yield scrapy.Request( target_link, headers=self.headers, meta={'cookiejar': 'fixed_crawl_session'}, callback=self.parse_main_content, errback=self.retry_failed_request ) next_page = response.css("a.pxc-pager-next::attr(href)").get() if next_page: next_page_link = response.urljoin(next_page.strip()) yield scrapy.Request( next_page_link, headers=self.headers, meta={'cookiejar': 'fixed_crawl_session'}, callback=self.parse_all_links )
3. 补充失败重试逻辑
在爬虫类中新增失败请求的重试回调,将临时网络错误、服务器临时拦截的请求重新加入爬取队列:
def retry_failed_request(self, failure): request = failure.request yield scrapy.Request( request.url, headers=self.headers, meta=request.meta, callback=request.callback, dont_filter=False )
4. 完善全局稳定性配置
在项目的settings.py文件中增加以下配置,降低反爬触发概率,提升爬取稳定性:
# settings.py 参考配置 RETRY_ENABLED = True RETRY_TIMES = 5 # 临时失败请求最多重试5次 CONCURRENT_REQUESTS = 4 # 控制并发数,避免高密度请求触发反爬 DOWNLOAD_DELAY = 2 # 请求间隔2秒,模拟正常用户浏览节奏 DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter' # 开启默认请求去重 COOKIES_ENABLED = True # 确保内置Cookie中间件正常运行
5. 优化结果存储逻辑
将原代码中仅print的抓取结果,调整为结构化输出,避免爬取结果丢失:
def parse_main_content(self, response): product_title = response.css("h1::text").get() yield { "product_title": product_title.strip() if product_title else None, "source_page_url": response.url }
内容的提问来源于stack exchange,提问作者MITHU
相关产品推荐
相关产品推荐

