Pandera.Column(bool, nullable=True)无法验证含None值列的问题咨询

问题复现 #

尝试用Pandera验证包含可为空布尔值的DataFrame，按照文档设置nullable=True，代码如下：

import pandas as pd
import pandera.pandas as pa

schema = pa.DataFrameSchema({"x": pa.Column(bool, nullable=True)})

df = pd.DataFrame({"x": [True, None]})
schema(df)

执行后报错：

SchemaError: expected series 'x' to have type bool, got object

疑问 #

1. 明明设置了nullable=True，为什么还是会拒绝None？
2. 代码里定义的列类型是bool，为什么报错说实际类型是object？

问题解答 #

疑问1解答 #

nullable=True的作用是允许列中存在空值，但前提是列的数据类型本身支持存储空值。原生Python的bool类型对应的Pandas列是bool dtype，这种类型无法存储None（因为None是Python对象），当你往bool dtype的列里放None时，Pandas会自动把列的 dtype 转换成object，这就导致Pandera的bool类型校验不通过——不是因为拒绝None，而是因为列的实际类型已经变了。

疑问2解答 #

Pandas的类型推断规则是：当数组中同时包含布尔值和None时，无法用原生的bool dtype存储（原生bool数组只能存True/False），所以会自动把整个列的 dtype 推断为object，因为object dtype可以容纳任意Python对象。这就是报错里显示“got object”的原因，和你代码里写的类型无关，是Pandas自动转换后的结果。

解决方法 #

使用Pandas提供的可为空布尔类型（pd.BooleanDtype()），这种类型专门用来存储包含空值的布尔数据，同时在Pandera的Schema里指定该类型：

import pandas as pd
import pandera.pandas as pa

# 指定可为空布尔类型
schema = pa.DataFrameSchema({"x": pa.Column(pd.BooleanDtype(), nullable=True)})

# 创建DataFrame时指定 dtype 为可为空布尔类型
df = pd.DataFrame({"x": [True, None]}, dtype=pd.BooleanDtype())
schema(df)  # 验证通过

或者也可以通过pd.Series指定类型后再构建DataFrame：

df = pd.DataFrame({"x": pd.Series([True, None], dtype="boolean")})

内容的提问来源于stack exchange，提问作者okokok