Pydantic V2升级后BaseSettings验证失败问题求助

问题背景 #

将基于Pydantic v1.10的Airflow+MLFlow机器学习训练项目升级到V2后，自定义YAML配置源加载train_config.yaml时，出现5个嵌套字段缺失的验证错误，尝试将字段类型改为dict仍未解决。

核心原因 #

1. 子配置类继承错误：原代码中所有嵌套配置类（如BaseModelConfig、XGBoostConfig）都继承了BaseSettings，在Pydantic V2中，BaseSettings会独立加载自身的配置源（环境变量、默认配置等），而非接收顶层配置传递的字典数据，导致子字段验证失败。
2. 无效修改方案错误：将字段类型改为dict并直接赋值配置类的写法不符合Pydantic类型定义规范，无法正确解析配置数据。

修复步骤 #

1. 替换子配置类的父类：所有嵌套配置类从BaseSettings改为pydantic.BaseModel，因为它们仅作为数据结构，无需独立加载配置源。
2. 保留顶层配置的BaseSettings继承：仅顶层Settings类继承BaseSettings，负责统一加载YAML等配置源。
3. 维持自定义配置源逻辑：原yaml_config_settings_source函数和Config类中的customise_sources方法无需修改，只需确保返回的配置源顺序正确。

修改后的完整代码 #

from pathlib import Path
from typing import Any, Dict, List

import yaml
from pydantic import BaseModel  # 新增导入BaseModel
from pydantic_settings import BaseSettings


def yaml_config_settings_source(settings: BaseSettings) -> Dict[str, Any]:
    with open(Path(__file__).parent / "train_config.yaml") as f:
        return yaml.load(f, Loader=yaml.FullLoader)


# 子配置类改为继承BaseModel
class BaseModelConfig(BaseModel):
    split_test_size: float


class XGBoostConfig(BaseModel):
    max_depth: int
    learning_rate: float
    n_estimators: int


class MLFlowConfig(BaseModel):
    mlflow_experiment: str
    mlflow_model_name: str


class Features(BaseModel):
    target: str
    categorical: List[str]
    numerical: List[str]
    binary: List[str]

    @property
    def all_features(self):
        return self.numerical + self.binary + self.categorical


class Classes(BaseModel):
    bins: List[float]
    labels: List[int]


class Settings(BaseSettings):
    # 字段类型仍为对应的子Model类
    base_model_config: BaseModelConfig
    xgboost_config: XGBoostConfig
    mlflow_config: MLFlowConfig
    features: Features
    classes: Classes

    class Config:
        @classmethod
        def customise_sources(
            cls,
            init_settings,
            env_settings,
            file_secret_settings,
        ):
            return (
                init_settings,
                env_settings,
                yaml_config_settings_source,
                file_secret_settings,
            )


settings = Settings()

验证说明 #

修改后，顶层Settings加载YAML配置时，会自动将嵌套字典解析为对应的BaseModel子类实例，无需额外处理，即可通过验证并正常访问配置字段（如settings.base_model_config.split_test_size）。

内容的提问来源于stack exchange，提问作者Igor Marques