如何自动将Pandas DataFrame列类型从float64/object细分为指定类型？

当pd.read_csv仅返回float64或object类型时，要自动细分出int、decimal、string、date（yyyy-mm-dd）、datetime（yyyy-mm-dd hh:mm:ss）、time（hh:mm:ss）类型，核心思路是对每一列做严格的类型校验与转换，优先匹配格式更严谨的类型（如时间类），再处理数值和文本类。以下是可落地的实现方案：

一、处理float64列：区分Int与Decimal #

float64类型通常包含两类数据：原本是整数但因缺失值被强制转为浮点数的列，以及真正的小数列。我们可以通过校验非缺失值是否为整数来区分：

import pandas as pd
from pandas.core.dtypes.common import is_float_dtype

def infer_float_column(col):
    # 检查所有非缺失值是否为整数
    if col.dropna().apply(lambda x: x.is_integer()).all():
        # 转为支持缺失值的Int64类型
        return col.astype('Int64')
    else:
        # 转为高精度Decimal类型
        return col.astype('DecimalDtype')

二、处理object列：区分时间类与String #

object列是类型细分的重点，我们需要按格式严格程度从高到低依次校验：优先匹配datetime、date、time，最后转为string类型（比object更规范）：

from pandas.core.dtypes.common import is_object_dtype

def infer_object_column(col):
    # 匹配yyyy-mm-dd hh:mm:ss格式的datetime
    try:
        return pd.to_datetime(col, format='%Y-%m-%d %H:%M:%S', errors='raise')
    except (ValueError, TypeError):
        pass

    # 匹配yyyy-mm-dd格式的date
    try:
        date_col = pd.to_datetime(col, format='%Y-%m-%d', errors='raise')
        return date_col  # 保留datetime64类型，便于后续时间操作
    except (ValueError, TypeError):
        pass

    # 匹配hh:mm:ss格式的time
    try:
        return pd.to_datetime(col, format='%H:%M:%S', errors='raise').dt.time
    except (ValueError, TypeError):
        pass

    # 剩余内容转为String类型
    return col.astype('string')

三、整合函数：批量处理整个DataFrame #

将上述两个函数整合，遍历所有列自动推导类型：

def infer_precise_dtypes(df):
    df_processed = df.copy()
    for col_name in df_processed.columns:
        col = df_processed[col_name]
        if is_float_dtype(col):
            df_processed[col_name] = infer_float_column(col)
        elif is_object_dtype(col):
            df_processed[col_name] = infer_object_column(col)
    return df_processed

四、批量处理CSV文件示例 #

针对大量无预期类型的CSV文件，可遍历文件目录批量处理：

import os

# 替换为你的CSV文件目录
csv_dir = '/path/to/your/csv/files'
csv_files = [f for f in os.listdir(csv_dir) if f.lower().endswith('.csv')]

for filename in csv_files:
    file_path = os.path.join(csv_dir, filename)
    # 读取原始文件
    raw_df = pd.read_csv(file_path)
    # 推导细分类型
    processed_df = infer_precise_dtypes(raw_df)
    # 保存处理后的文件（可根据需求调整路径）
    processed_df.to_csv(os.path.join(csv_dir, f'processed_{filename}'), index=False)

关键注意事项 #

• 缺失值兼容：Int64、string等类型原生支持缺失值，无需额外处理
• 格式严格性：使用errors='raise'确保只有完全匹配指定格式的列才会被转换，避免误判（如把类似日期的随机字符串转为时间类型）
• 精度保障：DecimalDtype比float64更适合高精度小数场景，避免浮点误差
• 性能优化：超大型文件可结合pd.read_csv的chunksize参数分块处理，减少内存占用

内容的提问来源于stack exchange，提问作者PythonDeveloper