如何处理包含混合类型列的pandas DataFrame？

拿到存在混合类型列的DataFrame，不要直接上来就转类型，按下面的步骤处理不会出问题：

第一步：先定位所有混合类型列 #

不要靠df.dtypes显示object就判定是混合类型，先跑代码确认哪些列真的存了多种数据类型，以及具体混了什么类型：

# 遍历列排查混合类型
mixed_type_columns = []
for col in df.columns:
    # 去掉空值后统计列内所有值的类型集合
    existing_types = set(df[col].dropna().map(type))
    if len(existing_types) > 1:
        mixed_type_columns.append(col)
        print(f"列名：{col}，包含的类型：{existing_types}")

第二步：根据业务场景选择处理方式 #

场景1：类型混杂是脏数据导致（占90%以上的情况） #

这类情况本质是列本身应该是单一类型（数值/日期/布尔值），只是因为录入错误、空值占位符不统一等问题混进了其他类型的值：

• 先统一替换无效占位符：把'N/A'、'--'、'缺失'、'null'这类自定义空值全部替换成np.nan：

import numpy as np
df = df.replace(['N/A', '--', '缺失', 'null', '无'], np.nan)

• 做安全类型转换，用pandas自带的转换函数，配合errors='coerce'把无法转换的异常值统一转成空值，避免报错：

# 转数值类型（整数/浮点数）
df['num_col'] = pd.to_numeric(df['num_col'], errors='coerce')
# 转日期时间类型
df['date_col'] = pd.to_datetime(df['date_col'], errors='coerce')

注意：转换完成后一定要统计空值占比，如果空值率远高于你的预期，说明列里存在你没识别到的特殊值，先抽样看几条异常值再处理，不要盲目丢弃数据。

场景2：列本身业务逻辑就需要存多种类型 #

比如某列正常情况下存数值指标，遇到特殊情况会存字符串备注，这类情况不要硬转成单一类型，两种处理方式最稳妥：

• 拆分多列：把不同类型的内容拆分到独立列存储，比如拆成「数值列」+「备注列」，数值列专门存可计算的数值，备注列存特殊情况的字符串说明，后续做统计分析不会触发类型错误：

# 拆分示例
df['指标值'] = pd.to_numeric(df['原混合列'], errors='coerce')
df['指标异常备注'] = df['原混合列'].mask(df['指标值'].notna(), np.nan)

• 保留混合类型存储：如果确实不需要拆分，优先用pandas 2.0+支持的Arrow后端存储混合类型，比原生object类型内存占用低、运算速度快，读写也不会出现类型错乱：

# 开启Arrow后端转换混合类型列
df['mixed_col'] = df['mixed_col'].astype('string[pyarrow]')

常见避坑点 #

• 不要直接用df.infer_objects()、df.convert_dtypes()指望自动完成类型转换，这两个方法只能处理非常规整的类型差，遇到自定义脏数据基本失效，必须先排查清楚列内的值分布再手动处理。
• 读入数据阶段就可以提前规避大部分混合类型问题：用pd.read_csv/pd.read_excel读文件时，提前通过dtype参数指定已知列的类型，通过na_values参数提前声明所有空值占位符，从加载阶段就避免混合类型产生。
• 不要为了图方便把整个DataFrame全转成字符串类型，后续做数值计算、日期计算会多出非常多不必要的类型转换工作，还容易引入隐蔽的bug。

内容的提问来源于stack exchange，提问作者Adrien Pacifico