如何在Python中将Optional[X]转为X以创建Pydantic模型的类型化DataFrame？

我希望从带有Optional字段的Pydantic BaseModel类（命名为MyModel）创建类型化DataFrame。创建多个MyModel实例时，部分实例的Optional字段会为None值，用这些行初始化DataFrame会导致列dtype不一致。因此我希望将Optional[TypeX]转换为TypeX，示例代码如下：

import pydantic
import pandas as pd
import numpy as np
from typing import Optional

class MyModel(pydantic.BaseModel):
   thisfield: int
   thatfield: Optional[str]
   ...

col_types = {kk: ff.annotation for kk, ff in MyModel.model_fields.items()}


pd.DataFrame(np.empty(0, dtype=[tuple(tt) for tt in col_types.items()]))

运行代码报错：TypeError: Cannot interpret 'typing.Optional[str]' as a data type。我需要实现Optional[X] -> X的函数或方法，请问除了用repr配合正则外还有什么方案？

方法1：利用Python typing模块的解析工具 #

Python内置的typing模块提供了get_args和get_origin函数，可以直接解析Optional类型的内部结构：

from typing import get_origin, get_args, Optional

def unwrap_optional(typ):
    # 判断当前类型是否为Optional
    if get_origin(typ) is Optional:
        # 返回Optional包裹的实际类型
        return get_args(typ)[0]
    # 非Optional类型直接返回原类型
    return typ

# 转换所有字段的类型
col_types = {kk: unwrap_optional(ff.annotation) for kk, ff in MyModel.model_fields.items()}

# 生成指定类型的空DataFrame
pd.DataFrame(np.empty(0, dtype=[tuple(tt) for tt in col_types.items()]))

原理：get_origin(typ)会返回类型的原始构造器（比如Optional[str]的origin是Optional），get_args(typ)则返回该类型的参数元组（比如Optional[str]的args是(str,)），取第一个元素就是我们需要的底层类型。

方法2：使用Pydantic内置的类型工具 #

Pydantic v2及以上版本提供了unwrap_optional内置函数，直接用来解析Optional类型：

from pydantic.types import unwrap_optional

# 转换字段类型
col_types = {kk: unwrap_optional(ff.annotation) for kk, ff in MyModel.model_fields.items()}

# 生成DataFrame
pd.DataFrame(np.empty(0, dtype=[tuple(tt) for tt in col_types.items()]))

这个方法无需自己编写解析逻辑，直接复用Pydantic的内置工具，更贴合Pydantic的使用场景。

方法3：通过实例序列化后指定类型创建DataFrame #

如果已经有MyModel实例，可以先将实例序列化为字典，再创建DataFrame并强制指定列类型，从根源避免dtype不一致：

# 示例MyModel实例列表
instances = [
    MyModel(thisfield=1, thatfield="test"),
    MyModel(thisfield=2, thatfield=None)
]

# 将实例转换为字典列表
data = [instance.model_dump() for instance in instances]

# 创建DataFrame时强制指定列类型
df = pd.DataFrame(data).astype({
    "thisfield": int,
    "thatfield": str
})

这种方法绕开了手动解析类型的步骤，利用Pydantic的序列化能力处理None值，再通过astype统一列类型，简单直接。

内容的提问来源于stack exchange，提问作者Dima Lituiev