Scrapy中如何合并多请求响应数据进行统一处理？

实现思路 #

利用爬虫类的实例变量存储所有请求的响应数据，待全部请求完成后，在爬虫关闭的钩子方法中对所有数据进行统一处理。

完整代码示例 #

import scrapy

class YourSpider(scrapy.Spider):
    name = "your_spider_name"
    # 替换为你的实际data_dict数据
    data_dict = {}

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 初始化全局数据容器，按分类存储
        self.all_results = {key: [] for key in self.data_dict.keys()}

    def start_requests(self):
        for key, value in self.data_dict.items():
            urlList = value["url_list"]
            for eachURL in urlList:
                yield scrapy.Request(
                    eachURL, 
                    callback=self.parse, 
                    meta={
                        "category": key,
                        "results": value["results"]
                    }
                )

    def parse(self, response):
        category = response.meta["category"]
        # 替换为你从当前响应提取数据的实际逻辑
        current_data = self.extract_response_data(response)
        
        # 将单条响应数据存入全局容器
        self.all_results[category].append(current_data)

    def extract_response_data(self, response):
        # 示例：提取页面标题和URL，替换为你的数据提取逻辑
        return {
            "title": response.css("title::text").get(),
            "url": response.url
        }

    def close_spider(self, spider):
        # 所有请求完成后触发，在此处理合并后的全部数据
        self.process_merged_data()

    def process_merged_data(self):
        # 示例：遍历分类数据做统一处理，替换为你的实际逻辑
        for category, data_list in self.all_results.items():
            print(f"处理分类「{category}」，共{len(data_list)}条数据")
            # 例如写入文件、数据分析等操作
            # import json
            # with open(f"{category}_merged_data.json", "w", encoding="utf-8") as f:
            #     json.dump(data_list, f, ensure_ascii=False, indent=4)

关键说明 #

• self.all_results实例变量：在爬虫初始化时创建，用于按分类存储所有响应数据，保证数据在爬虫生命周期内全局可访问。
• parse方法：仅负责提取单条响应的数据并存入容器，不再单独处理数据。
• close_spider方法：Scrapy内置钩子，所有请求完成、爬虫即将关闭时自动触发，此时可安全对合并后的全部数据做统一处理。

内容的提问来源于stack exchange，提问作者Kirmola