Pandas1.4.3中DataFrame整列iloc赋值时dtype意外转换咨询

现象描述 #

使用pandas 1.4.3时，不同的iloc索引方式对int32类型列做全量赋值，会出现不一致的dtype转换结果：

1. 传入:作为行索引做整列赋值时，原int32类型会被隐式转换为int64：

import pandas as pd
import numpy as np

df1 = pd.DataFrame({"a": np.array([1,2,3], dtype="int32")})
df1.iloc[:, df1.columns.get_loc("a")] = 0
print(df1["a"].dtype)
# 输出: dtype('int64')

2. 传入显式行范围切片做同范围赋值时，原int32类型会被保留：

df2 = pd.DataFrame({"a": np.array([1,2,3], dtype="int32")})
df2.iloc[0:len(df2.index), df2.columns.get_loc("a")] = 0
print(df2["a"].dtype)
# 输出: dtype('int32')

原因解释 #

该差异来自pandas 1.4.3内部不同索引选择路径的实现逻辑不一致，不属于刻意设计的预期行为，是索引逻辑未完全对齐导致的已知问题，在pandas 2.0及之后版本中已经通过统一赋值路径修复：

• 当使用iloc[:, 列位置]选择整列时，内部走整列替换分支：传入的Python原生整数0会触发默认类型推断，pandas直接用自身默认整数类型int64构造新列替换原列，不会继承原列的dtype属性，因此最终类型变为int64。
• 当使用iloc[显式行切片, 列位置]选择范围时，内部走块内原地赋值分支：操作基于原列的内存块执行，赋值前会自动将传入值转换为和原列匹配的dtype，因此原int32类型得以保留。

避免非预期类型转换的解决方案 #

• 赋值时显式匹配原列类型：给传入的标量或数组指定和原列一致的dtype，比如上例中将0写为np.int32(0)，无论走哪条赋值路径都不会触发类型变更。
• 整列操作优先使用列名直接访问：需要给整列赋值时，直接使用df["列名"] = 值的方式访问列，该访问路径的类型处理逻辑比iloc整列选择更稳定，赋值时可主动指定值的类型做固定。
• 开启Copy-on-Write模式：pandas 1.4.3版本可通过pd.set_option("mode.copy_on_write", True)开启该特性预览，2.0及以上版本中该模式下所有赋值路径的类型处理逻辑完全统一，从根源上避免不同索引方式带来的dtype不一致问题。
• 增加类型校验兜底：核心数据处理流程中，在赋值操作后增加dtype断言，一旦发生非预期的隐式转换会直接抛出错误，避免脏数据流入后续流程。

内容的提问来源于stack exchange，提问作者Scott Morken