Scrapy v2.12.0中使用Item Loader处理None值的正确方法

我正在使用Scrapy v2.12.0及Item Loader，爬虫在部分条目里会返回None值给某些字段。以exterior_color字段为例，现有处理逻辑如下：

爬虫的parse_myitem方法：

l = ItemLoader(item=MyItem(), response=response)
l.add_xpath('exterior_color', "//working XPath")

items.py中的字段定义：

class MyItem(scrapy.Item):
    exterior_color = scrapy.Field(
        input_processor=MapCompose(handle_empty_color, process_color), 
        output_processor=TakeFirst())

items.py中的处理函数：

def handle_empty_color(input_list):
    return input_list if input_list else ['other']

def process_color(text):
    color =  text.lower()
    match color:
        case 'beige':
            return 'beige'
        case _:
            return 'other'

后续通过SQLAlchemy保存到PostgreSQL，models.py中字段定义：

exterior_color: Mapped[Optional[str]] = mapped_column(String(10))

预期逻辑是：当handle_empty_color接收到None时返回['other']，再由process_color处理为'other'。但实际数据库中该字段显示为[none]，排查发现是add_xpath返回None时现有逻辑未生效。目前已用临时方法处理（直接在parse中判断后add_value），但想知道Scrapy推荐的正确处理方式。

1. 修正输入处理器逻辑，处理包含None的列表 #

问题核心：当add_xpath未匹配到内容时，传入输入处理器的是[None]而非空列表，原handle_empty_color仅判断列表是否为空，不会触发替换逻辑。修改处理器，先过滤或替换列表中的None值：

def handle_empty_color(input_list):
    # 过滤掉列表中的None，若过滤后为空则返回['other']
    filtered = [item for item in input_list if item is not None]
    return filtered if filtered else ['other']

或者直接替换列表中的每个None：

def handle_empty_color(input_list):
    return [item if item is not None else 'other' for item in input_list]

修改后，process_color会收到'other'并返回'other'，最终TakeFirst()提取到有效值，不会存入None。

2. 使用带默认值的输出处理器 #

自定义继承TakeFirst的输出处理器，当提取结果为None时返回默认值：

from scrapy.loader.processors import TakeFirst

class TakeFirstWithDefault(TakeFirst):
    def __init__(self, default=None):
        self.default = default

    def __call__(self, values):
        result = super().__call__(values)
        return result if result is not None else self.default

然后在字段定义中使用该处理器：

class MyItem(scrapy.Item):
    exterior_color = scrapy.Field(
        input_processor=MapCompose(process_color), 
        output_processor=TakeFirstWithDefault(default='other')
    )

这种方式无需修改输入处理器，直接在输出阶段兜底处理None值，逻辑更简洁。

3. 在ItemLoader层面设置默认值 #

可以在初始化ItemLoader时，为字段设置默认值，当未提取到内容时自动填充：

l = ItemLoader(item=MyItem(), response=response)
l.add_xpath('exterior_color', "//working XPath")
# 若exterior_color未被赋值，则设置默认值
if not l.get_collected_values('exterior_color'):
    l.add_value('exterior_color', 'other')

这种方式适合针对单个字段做特殊处理，保持处理器逻辑的通用性。

注意事项 #

• 推荐将数据处理逻辑集中在Item的处理器或自定义处理器中，而非parse方法内，这样更符合Scrapy的模块化设计，便于维护和复用。
• 若XPath可能返回空字符串而非None，可在输入处理器中同时处理空字符串和None的情况，比如在process_color中先判断：

def process_color(text):
    if not text:
        return 'other'
    color = text.lower()
    match color:
        case 'beige':
            return 'beige'
        case _:
            return 'other'

内容的提问来源于stack exchange，提问作者Dmitry Borisoglebsky