Pandas DataFrame含显式可空boolean列时replace()报错问题

这是Pandas 1.2.x~1.3.x版本的已知实现bug，根源是旧版本pandas.DataFrame.replace()方法对可空扩展类型（包括BooleanDtype、可空整数Int64等）的适配不完善。

报错原因 #

旧版本replace的全局处理逻辑没有针对扩展dtype做特殊分支适配：

1. 全局扫描所有列执行替换逻辑时，会统一尝试把处理后的列数据转为普通numpy数组再赋值回原列
2. 可空boolean类型是Pandas自定义的扩展dtype，底层要求存储结构是带空值掩码的pd.array格式，不支持直接接收普通numpy数组作为输入，因此触发类型报错

两种正常场景的原理 #

• 列dtype设为原生bool：原生bool是Numpy内置基础类型，底层本身就基于numpy数组存储，刚好适配replace的默认转换逻辑，不会报错
• 未显式指定布尔列dtype：Pandas默认会给无空值的布尔列分配原生bool dtype，本质和第一种场景完全一致，因此也能正常运行

解决方案 #

• 方案1：升级Pandas到1.4.0及以上版本，该bug在后续版本已经被官方修复，升级后你的示例代码可以直接正常运行
• 方案2：如果必须保留当前1.2.x/1.3.x版本，改为仅对需要修改的列单独执行replace操作，避开对可空布尔列的全局扫描：

# 仅修改a列，不涉及b列的可空boolean类型，不会触发bug
df['a'] = df['a'].replace('x', 'X')

内容的提问来源于stack exchange，提问作者ilCatania