Scrapy中同一Item对应多URL的合并处理问题

这个场景太常见了！爬电商类站点时，经常碰到同一个商品对应多个URL的情况——比如不同筛选页入口、分页跳转链接都指向同一个商品，直接生成多个Item显然不符合需求。我们可以通过在爬虫内维护全局缓存+利用爬虫结束信号统一输出的方式来搞定这个问题。

具体实现思路： #

1. 初始化全局缓存：在Spider类里定义一个字典，用来存储id到对应Item的映射，确保同一个id的Item只会被创建一次。
2. 解析页面时更新缓存：遇到商品页面时，先检查缓存中是否已有该id的Item，有则追加URL（记得去重），没有则创建新Item存入缓存。
3. 爬虫结束时输出合并结果：借助Scrapy的spider_closed信号，在爬虫停止时统一yield缓存里的所有Item，避免中途重复输出不完整的Item。

修改后的完整代码： #

from scrapy import Spider, signals
from scrapy.linkextractors import LinkExtractor

class MySiteSpider(Spider):
    name = 'MySite'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 全局缓存：key是商品id，value是对应的Item实例
        self.item_cache = {}
        # 绑定爬虫结束信号，触发我们的结果输出逻辑
        self.crawler.signals.connect(self.output_merged_items, signal=signals.spider_closed)

    def parse(self, response):
        # 保持原有的全站爬取逻辑，继续跟进所有链接
        links = LinkExtractor(unique=True).extract_links(response)
        for link in links:
            yield response.follow(link, callback=self.parse)

        # 处理商品详情页
        if response.css('.product-page-content'):
            id_ = response.css('#id::text').extract_first()
            # 跳过无id的无效页面，避免缓存无效数据
            if not id_:
                return

            # 检查缓存中是否已有该id的Item
            if id_ in self.item_cache:
                target_item = self.item_cache[id_]
                # 避免重复添加相同URL（比如页面被重复爬取的情况）
                if response.url not in target_item['urls']:
                    target_item['urls'].append(response.url)
            else:
                # 创建新Item并加入缓存
                target_item = MyItem()
                target_item['id'] = id_
                target_item['urls'] = [response.url]
                self.item_cache[id_] = target_item

    def output_merged_items(self, spider):
        # 爬虫结束时，统一输出所有合并后的完整Item
        for item in self.item_cache.values():
            yield item

额外细节说明： #

• URL去重判断：代码里加了if response.url not in target_item['urls']的逻辑，防止同一个URL被多次追加（比如页面被重复调度爬取的情况）。
• 信号的作用：选择在爬虫结束时统一输出，是因为如果在parse里每次更新就yield，会导致同一个Item被多次输出到管道，而统一输出能保证每个id只对应一个包含所有URL的完整Item。
• 容错处理：增加了if not id_的判断，跳过没有id的无效页面，避免缓存里存入无意义的数据。

内容的提问来源于stack exchange，提问作者 GhostKU