如何可靠检测pandas新Int64/Float64类型并转换为旧类型？

问题根源 #

在pandas 1.4.4 + numpy 1.21.6环境中，构造DataFrame时列dtype显示为object，通常是因为数据混入非数值元素、或构造时未明确指定Nullable dtype导致推断偏差。而sklearn无法识别pandas的Nullable扩展类型（如Float64/Int64），会引发类型兼容错误，因此需要批量转换为numpy支持的经典数值类型（float64/int64），空值自动转为np.nan。

推荐批量转换方法 #

方法1：基于类型映射的批量转换

通过定义Nullable类型到经典类型的映射表，一次性完成全表转换，无需手动逐个处理列：

import pandas as pd
import numpy as np

# 定义Nullable类型到经典类型的映射关系
type_map = {
    pd.Float64Dtype(): np.float64,
    pd.Int64Dtype(): np.int64,
    pd.UInt64Dtype(): np.uint64
}

# 批量转换全表列类型
df = df.astype({col: type_map.get(df[col].dtype, df[col].dtype) for col in df.columns})

方法2：精准筛选Nullable列后转换

用pd.api.types.is_nullable_dtype识别目标列，再按类型分别转换：

# 筛选所有Nullable数值列
nullable_cols = df.columns[df.dtypes.apply(pd.api.types.is_nullable_dtype)]

# 按类型转换为经典数值类型
for col in nullable_cols:
    col_dtype = df[col].dtype
    if isinstance(col_dtype, pd.Float64Dtype):
        df[col] = df[col].astype(np.float64)
    elif isinstance(col_dtype, pd.Int64Dtype):
        df[col] = df[col].astype(np.int64)

方法3：简化版自动转换

若无需严格区分整数/浮点类型，可直接用pd.to_numeric批量处理，自动适配转换：

# 自动转换Nullable类型为经典数值类型，保留非数值列原始类型
df = df.apply(lambda col: pd.to_numeric(col, errors='ignore'))

避免构造时出现object dtype的技巧 #

创建DataFrame时明确指定Nullable dtype，可防止被错误推断为object：

# 直接指定dtype创建
df = pd.DataFrame({'a': [1.0, np.nan, 3.5]}, dtype=pd.Float64Dtype())

# 先构建指定类型的Series再生成DataFrame
s = pd.Series([1, np.nan, 3], dtype=pd.Int64Dtype())
df = pd.DataFrame({'a': s})

内容的提问来源于stack exchange，提问作者beardc