Scrapy单爬虫双Pipeline：如何指定Item对应处理管道？

DevOps 小满

2026-6-26

解决方案

要实现不同类型Item仅由对应Pipeline处理，核心思路是在每个Pipeline的process_item方法中判断Item类型，仅处理自身负责的类型，其他类型直接放行。

修改后的`pipelines.py`代码

from sreality.items import Product, Manufacturer

class ProductPipeline:
    def process_item(self, item, spider):
        # 仅处理Product类型的Item
        if isinstance(item, Product):
            # 这里编写你的Product数据处理/保存逻辑
            ...
            return item
        # 非Product类型，直接返回交给后续Pipeline（如果存在）
        return item

class ManufacturerPipeline:
    def process_item(self, item, spider):
        # 仅处理Manufacturer类型的Item
        if isinstance(item, Manufacturer):
            # 这里编写你的Manufacturer数据处理/保存逻辑
            ...
            return item
        # 非Manufacturer类型，直接返回交给后续Pipeline（如果存在）
        return item

关键说明

类型判断：通过isinstance(item, 目标类型)精准匹配Item，确保每个Pipeline只处理自己负责的数据类型。
参数补全：process_item方法必须包含item和spider两个参数（Scrapy框架强制要求），之前的代码缺失spider参数需要补上，否则会触发框架运行错误。
放行逻辑：对于非目标类型的Item，直接return item即可，框架会自动将其传递给下一个符合条件的Pipeline（或直接结束流程），不会进入当前Pipeline的处理逻辑，从根源避免属性缺失报错。