You need to enable JavaScript to run this app. Scrapy爬取Phoenix Contact产品时标题不全、结果数不稳定问题求解
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy爬取Phoenix Contact产品时标题不全、结果数不稳定问题求解

爬取效果优化方案

异常核心原因定位

  • Cookie会话管理逻辑不符合Scrapy运行机制,每个请求对应独立无状态会话,服务器会根据零散访问状态动态截断返回内容,导致累计爬取量远低于实际产品总量
  • 产品链接解析的选择器匹配范围过窄,遗漏无onclick属性的产品跳转入口,造成内容漏爬
  • 分页链接拼接逻辑冗余,存在路径拼接错误导致分页跳转失效的风险
  • 缺失请求失败重试机制,临时网络波动或服务器拦截的请求直接丢失,每次运行的丢失量无规律,最终结果数量不稳定
  • 未配置反爬适配规则,短时间高密度请求易触发服务器拦截,进一步加剧内容漏爬

具体代码调整方案

1. 修正Cookie会话管理逻辑

Scrapy内置Cookie中间件的cookiejarmeta参数为会话隔离标识,并非需要手动填充Cookie内容。固定所有请求使用同一个会话标识,即可让整个爬取过程共享一套完整的会话Cookie,保证服务器返回全量页面内容。
移除手动解析响应头Set-Cookie的冗余代码,调整后的分类遍历逻辑如下:

def parse(self, response):
    for item in response.xpath("//div[./h3[contains(.,'Category')]]/ul/li/a/@href").getall():
        item_link = response.urljoin(item.strip())
        if "/products/list_pages/" in item_link:
            yield scrapy.Request(
                item_link,
                headers=self.headers,
                meta={'cookiejar': 'fixed_crawl_session'},  # 固定会话标识,全局请求共享Cookie
                callback=self.parse_all_links
            )
        else:
            yield scrapy.Request(
                item_link,
                headers=self.headers,
                meta={'cookiejar': 'fixed_crawl_session'},
                callback=self.parse
            )

2. 优化列表页解析逻辑

  • 放宽产品链接选择器的匹配范围,覆盖所有产品卡片下的跳转入口,避免漏爬
  • 移除分页跳转时手动解析base标签的冗余逻辑,直接使用response.urljoin拼接相对路径,消除拼接错误风险
  • 为产品详情请求补充失败回调,临时失败的请求自动重新入队
    调整后的列表页处理逻辑如下:
def parse_all_links(self, response):
    # 放宽选择器范围,匹配所有产品卡片下的跳转链接
    product_links = response.css("[class='pxc-sales-data-wrp'][data-product-key] h3 > a::attr(href)").getall()
    for item in product_links:
        target_link = response.urljoin(item.strip())
        yield scrapy.Request(
            target_link,
            headers=self.headers,
            meta={'cookiejar': 'fixed_crawl_session'},
            callback=self.parse_main_content,
            errback=self.retry_failed_request
        )

    next_page = response.css("a.pxc-pager-next::attr(href)").get()
    if next_page:
        next_page_link = response.urljoin(next_page.strip())
        yield scrapy.Request(
            next_page_link,
            headers=self.headers,
            meta={'cookiejar': 'fixed_crawl_session'},
            callback=self.parse_all_links
        )

3. 补充失败重试逻辑

在爬虫类中新增失败请求的重试回调,将临时网络错误、服务器临时拦截的请求重新加入爬取队列:

def retry_failed_request(self, failure):
    request = failure.request
    yield scrapy.Request(
        request.url,
        headers=self.headers,
        meta=request.meta,
        callback=request.callback,
        dont_filter=False
    )

4. 完善全局稳定性配置

在项目的settings.py文件中增加以下配置,降低反爬触发概率,提升爬取稳定性:

# settings.py 参考配置
RETRY_ENABLED = True
RETRY_TIMES = 5  # 临时失败请求最多重试5次
CONCURRENT_REQUESTS = 4  # 控制并发数,避免高密度请求触发反爬
DOWNLOAD_DELAY = 2  # 请求间隔2秒,模拟正常用户浏览节奏
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'  # 开启默认请求去重
COOKIES_ENABLED = True  # 确保内置Cookie中间件正常运行

5. 优化结果存储逻辑

将原代码中仅print的抓取结果,调整为结构化输出,避免爬取结果丢失:

def parse_main_content(self, response):
    product_title = response.css("h1::text").get()
    yield {
        "product_title": product_title.strip() if product_title else None,
        "source_page_url": response.url
    }

内容的提问来源于stack exchange,提问作者MITHU

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 01:24:02