如何将Scrapy爬虫中的私有数据传递至Pipeline？

下面提供三种实用方案，按需选择：

方法1：通过Item传递参数 #

直接在爬虫的解析方法里，把命令行传入的filename附加到每个Item中，Pipeline读取该字段即可指定存储路径。

爬虫代码 #

class MySpider(scrapy.Spider):
    name = "myspider"

    def __init__(self, file=None, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.filename = file  # 接收命令行的file参数

    def parse(self, response):
        item = MyItem()
        # 填充Item业务字段
        item['content'] = response.xpath('//div[@class="content"]/text()').get()
        # 附加filename参数到Item
        item['target_file'] = self.filename
        yield item

Pipeline代码 #

class MyPipeline:
    def process_item(self, item, spider):
        # 取出filename并移除该字段（避免存入最终文件）
        target_file = item.pop('target_file')
        # 写入指定文件
        with open(target_file, 'a', encoding='utf-8') as f:
            f.write(f"{item}\n")
        return item

方法2：通过Crawler直接获取爬虫属性 #

利用Pipeline的from_crawler类方法，从Crawler实例中直接拿到爬虫对象，读取其filename属性。这种方式无需修改Item，适合全局用同一个存储路径的场景。

Pipeline代码 #

class MyPipeline:
    def __init__(self, target_file):
        self.target_file = target_file
        self.file = None

    @classmethod
    def from_crawler(cls, crawler):
        # 从爬虫实例中获取filename参数
        return cls(crawler.spider.filename)

    def open_spider(self, spider):
        # 爬虫启动时打开文件
        self.file = open(self.target_file, 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.file.write(f"{item}\n")
        return item

    def close_spider(self, spider):
        # 爬虫结束时关闭文件
        self.file.close()

爬虫代码（保持原有逻辑即可） #

class MySpider(scrapy.Spider):
    name = "myspider"

    def __init__(self, file=None, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.filename = file

方法3：利用Scrapy信号传递参数 #

通过spider_opened信号，在爬虫启动时将filename传递给Pipeline，灵活性更高，适合动态调整参数的场景。

Pipeline代码 #

from scrapy import signals

class MyPipeline:
    def __init__(self):
        self.target_file = None
        self.file = None

    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        # 绑定spider_opened信号到自定义方法
        crawler.signals.connect(pipeline.on_spider_open, signal=signals.spider_opened)
        return pipeline

    def on_spider_open(self, spider):
        # 从爬虫实例获取filename
        self.target_file = spider.filename
        self.file = open(self.target_file, 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.file.write(f"{item}\n")
        return item

    def close_spider(self, spider):
        self.file.close()

爬虫代码（保持原有逻辑即可） #

class MySpider(scrapy.Spider):
    name = "myspider"

    def __init__(self, file=None, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.filename = file

内容的提问来源于stack exchange，提问作者user2155362