如何用Pydantic子模型管理父模型的多数据集默认配置？

问题背景 #

使用Pydantic管理支持多数据集的应用配置，每个数据集需要拥有可覆盖的专属默认值。最初通过validator实现逻辑，但随着字段和数据集数量增加，维护成本急剧上升。尝试通过继承+工厂模式重构，但受限于Pydantic的default_factory不支持传参的特性，现有替代方案均存在弊端，希望找到能拦截字段参数并使用自定义工厂的实现方式。

现有实现与痛点 #

初始Validator方案：

from pydantic import BaseModel, validator

class DatasetSettings(BaseModel):
    dataset_name: str 
    table_name: str

    @validator("table_name", always=True)
    def validate_table_name(cls, v, values):
        if isinstance(v, str):
            return v
        if values["dataset_name"] == "DATASET_1":
            return "special_dataset_1_default_table"
        if values["dataset_name"] == "DATASET_2":
            return "special_dataset_2_default_table"
        return "default_table"

class AppSettings(BaseModel):
    dataset_settings: DatasetSettings
    app_url: str

痛点：新增数据集或字段时，需要修改validator逻辑，代码会逐渐臃肿，难以维护。

继承+工厂尝试方案：

class Dataset1Settings(DatasetSettings):
    dataset_name: str = "DATASET_1"
    table_name: str = "special_dataset_1_default_table"

class Dataset2Settings(DatasetSettings):
    dataset_name: str = "DATASET_2"
    table_name: str = "special_dataset_2_default_table"

def dataset_settings_factory(dataset_name, table_name=None):
    if dataset_name == "DATASET_1":
        return Dataset1Settings(dataset_name, table_name)
    if dataset_name == "DATASET_2":
        return Dataset2Settings(dataset_name, table_name)
    return DatasetSettings(dataset_name, table_name)

class AppSettings(BaseModel):
    dataset_settings: DatasetSettings
    app_url: str

痛点：每个数据集需要创建独立子类，工厂函数需同步更新判断逻辑，扩展性差；且default_factory无法传参，无法直接嵌入字段定义中。

推荐解决方案 #

方案1：基于Pydantic v2 model_validator的动态默认值（推荐）

利用Pydantic v2的前置模型验证器，将数据集默认配置集中管理，无需创建子类或修改验证逻辑即可扩展：

from pydantic import BaseModel, model_validator

# 集中管理所有数据集的默认配置，新增数据集直接添加键值对
DATASET_DEFAULTS = {
    "DATASET_1": {"table_name": "special_dataset_1_default_table"},
    "DATASET_2": {"table_name": "special_dataset_2_default_table"},
}
DEFAULT_TABLE = "default_table"

class DatasetSettings(BaseModel):
    dataset_name: str 
    table_name: str | None = None

    @model_validator(mode="before")
    def set_dataset_defaults(cls, values):
        # 若未传入table_name，根据dataset_name自动填充默认值
        if values.get("table_name") is None:
            values["table_name"] = DATASET_DEFAULTS.get(values["dataset_name"], {}).get("table_name", DEFAULT_TABLE)
        return values

class AppSettings(BaseModel):
    dataset_settings: DatasetSettings
    app_url: str

# 测试场景
# 自动应用DATASET_1的默认表名
ds1 = DatasetSettings(dataset_name="DATASET_1")
print(ds1)  # dataset_name='DATASET_1', table_name='special_dataset_1_default_table'

# 自定义表名，覆盖默认值
ds1_custom = DatasetSettings(dataset_name="DATASET_1", table_name="my_custom_table")
print(ds1_custom)  # dataset_name='DATASET_1', table_name='my_custom_table'

# 未知数据集使用全局默认表名
ds_unknown = DatasetSettings(dataset_name="DATASET_3")
print(ds_unknown)  # dataset_name='DATASET_3', table_name='default_table'

# 嵌套场景自动生效
app_settings = AppSettings(dataset_settings={"dataset_name": "DATASET_2"}, app_url="http://example.com")
print(app_settings.dataset_settings)  # dataset_name='DATASET_2', table_name='special_dataset_2_default_table'

优势：

• 配置集中化，新增数据集仅需修改DATASET_DEFAULTS字典，维护成本极低
• 支持单独实例化DatasetSettings或嵌套在AppSettings中自动生效
• 无需创建大量子类，代码结构简洁

方案2：自定义工厂方法+Validator（兼容Pydantic v1/v2）

如果需要兼容Pydantic v1，可通过自定义工厂方法结合字段验证器实现：

from pydantic import BaseModel, validator

DATASET_DEFAULTS = {
    "DATASET_1": {"table_name": "special_dataset_1_default_table"},
    "DATASET_2": {"table_name": "special_dataset_2_default_table"},
}
DEFAULT_TABLE = "default_table"

class DatasetSettings(BaseModel):
    dataset_name: str 
    table_name: str

    @classmethod
    def from_dataset(cls, dataset_name: str, table_name: str | None = None):
        # 自定义工厂方法，直接生成带默认值的实例
        if table_name is None:
            table_name = DATASET_DEFAULTS.get(dataset_name, {}).get("table_name", DEFAULT_TABLE)
        return cls(dataset_name=dataset_name, table_name=table_name)

    @validator("table_name", always=True)
    def set_default_table(cls, v, values):
        # 确保直接创建实例时也能自动填充默认值
        if v is not None:
            return v
        return DATASET_DEFAULTS.get(values["dataset_name"], {}).get("table_name", DEFAULT_TABLE)

class AppSettings(BaseModel):
    dataset_settings: DatasetSettings
    app_url: str

    @validator("dataset_settings", pre=True)
    def parse_nested_dataset(cls, value):
        # 处理嵌套场景：若传入字典且无table_name，自动调用工厂方法
        if isinstance(value, dict) and "table_name" not in value:
            return DatasetSettings.from_dataset(value["dataset_name"])
        return value

# 测试场景
# 直接使用工厂方法创建实例
ds1 = DatasetSettings.from_dataset("DATASET_1")
print(ds1)

# 嵌套场景自动应用默认值
app_settings = AppSettings(dataset_settings={"dataset_name": "DATASET_2"}, app_url="http://example.com")
print(app_settings.dataset_settings)

优势：

• 兼容Pydantic v1和v2版本
• 工厂方法提供直接创建实例的入口，同时validator确保所有创建方式都能应用默认值
• 配置集中管理，扩展性良好

内容的提问来源于stack exchange，提问作者mmdanziger