Scrapy管道间传递Spider实例变量失效问题求助

可以实现，但你当前的实现存在两个核心问题：

问题分析 #

1. 变量初始化时机错误：管道的__init__方法是在管道实例创建时执行的，早于Spider启动，此时无法正确绑定到具体的Spider实例，初始化的变量可能不会被目标爬虫复用。
2. close_spider执行顺序搞反：Scrapy中管道的close_spider执行顺序和process_item相反——优先级数字越大（低优先级）的管道，close_spider越先执行。你的Pipeline_2（@900）会比Pipeline_1（@700）先触发close_spider，此时Pipeline_1还没来得及在自己的close_spider里填充变量，自然拿到空值。

正确实现方式 #

1. 调整变量初始化与数据收集时机 #

在Pipeline_1的open_spider方法中初始化Spider变量（此时Spider实例已就绪），并在process_item中实时收集处理后的条目，而非等到close_spider批量填充。

class Pipeline_1:
    def open_spider(self, spider):
        # 爬虫启动时初始化Spider实例变量
        spider.collected_items = []

    def process_item(self, item, spider):
        # 处理item后实时追加到Spider变量中
        processed_item = self.clean_item(item)
        spider.collected_items.append(processed_item)
        return item

    def clean_item(self, item):
        # 示例：自定义item处理逻辑
        item['title'] = item['title'].strip() if item.get('title') else ''
        return item

2. 在Pipeline_2中读取已收集的数据 #

因为数据在爬取过程中已实时存入Spider变量，Pipeline_2的close_spider执行时就能直接获取完整数据：

class Pipeline_2:
    def close_spider(self, spider):
        if hasattr(spider, 'collected_items'):
            # 获取Pipeline_1收集的所有条目
            all_processed_items = spider.collected_items
            # 执行批量处理逻辑，比如批量写入数据库、生成报表等
            self.bulk_handle_items(all_processed_items)

    def bulk_handle_items(self, items):
        # 示例：批量处理逻辑
        print(f"共收到{len(items)}条待处理数据")
        for item in items:
            print(item)

3. 保持原有管道优先级配置 #

settings中无需修改优先级，确保Pipeline_1先处理item：

ITEM_PIPELINES = {
    'your_project.pipelines.Pipeline_1': 700,
    'your_project.pipelines.Pipeline_2': 900,
}

备选方案（不依赖Spider实例） #

如果不想绑定Spider实例，可通过Pipeline_1的类变量存储数据，但需注意多爬虫并行时的线程安全问题：

class Pipeline_1:
    collected_items = []

    def process_item(self, item, spider):
        processed_item = self.clean_item(item)
        self.collected_items.append(processed_item)
        return item

class Pipeline_2:
    def close_spider(self, spider):
        all_items = Pipeline_1.collected_items
        self.bulk_handle_items(all_items)
        # 重置类变量，避免影响下一次爬虫
        Pipeline_1.collected_items = []

内容的提问来源于stack exchange，提问作者The Doctor