如何为Scrapy Field定义可选值（类Django Field Choices）？

1. 原生Field验证器（推荐） #

Scrapy的Field支持通过validators参数绑定自定义验证函数，赋值时自动触发校验，不符合规则直接抛出ValidationError。

代码示例 #

from scrapy.item import Item, Field
from scrapy.exceptions import DropItem, ValidationError

# 统一维护允许的国家列表
ALLOWED_COUNTRIES = {'USA', 'Canada', 'UK', 'Australia'}

def validate_source_country(value):
    if value not in ALLOWED_COUNTRIES:
        raise ValidationError(f"无效的SourceCountry值: {value}，允许值为{ALLOWED_COUNTRIES}")
    return value

class MyItem(Item):
    SourceCountry = Field(
        serializer=str,
        validators=[validate_source_country]
    )
    # 其他字段定义...

配合Pipeline处理验证错误 #

在Pipeline中捕获验证错误，决定是否丢弃Item或记录日志：

class ValidationPipeline:
    def process_item(self, item, spider):
        try:
            # 触发所有字段的验证逻辑
            item.validate()
        except ValidationError as e:
            spider.logger.error(f"Item验证失败: {e}")
            raise DropItem(f"丢弃无效Item: {e}")
        return item

记得在settings.py中启用该Pipeline：

ITEM_PIPELINES = {
    '你的项目名.pipelines.ValidationPipeline': 100,
}

2. 重写Item的__setitem__方法 #

通过重写Item的赋值方法，实现赋值时即时校验，无需等到Pipeline阶段。

代码示例 #

from scrapy.item import Item, Field
from scrapy.exceptions import ValidationError

ALLOWED_COUNTRIES = {'USA', 'Canada', 'UK', 'Australia'}

class MyItem(Item):
    SourceCountry = Field(serializer=str)
    
    def __setitem__(self, key, value):
        if key == 'SourceCountry' and value not in ALLOWED_COUNTRIES:
            raise ValidationError(f"无效的SourceCountry值: {value}，允许值为{ALLOWED_COUNTRIES}")
        # 调用父类方法完成赋值
        super().__setitem__(key, value)

3. ItemLoader输入处理器校验 #

如果使用ItemLoader填充数据，可以在输入处理器中集成验证逻辑，同时完成数据清洗（比如去除空格、统一大小写）。

代码示例 #

from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose
from scrapy.exceptions import ValidationError

ALLOWED_COUNTRIES = {'USA', 'Canada', 'UK', 'Australia'}

def validate_and_clean_country(value):
    # 先清洗数据：转字符串、去空格、转大写
    cleaned_value = str(value).strip().upper()
    if cleaned_value not in ALLOWED_COUNTRIES:
        raise ValidationError(f"无效的国家值: {value}")
    return cleaned_value

class MyItemLoader(ItemLoader):
    default_item_class = MyItem
    # 给SourceCountry绑定输入处理器
    SourceCountry_in = MapCompose(validate_and_clean_country)

额外优化建议 #

• 将允许的枚举值放在单独的常量文件（如constants.py）中，便于统一修改和维护。
• 若需要支持大小写不敏感匹配，可在验证函数中先对输入值做标准化处理（如转大写）再比对。

内容的提问来源于stack exchange，提问作者Onur Baskin