Spark转Pandas后列类型全为object，如何按实际值转换？

这种情况很常见，大多是因为Spark DataFrame里存在缺失值（比如你提到的某列仅1440条非空数据），或者列中混合了不同格式的数据，导致Pandas在转换时默认把所有列设为object类型。infer_objects()失效通常也是因为缺失值或数据格式的干扰，试试下面几种针对性的解决方法：

方法1：基于Spark原Schema手动匹配类型 #

既然你知道原Spark DataFrame的结构，先打印它的Schema确认各列类型：

df.printSchema()

然后根据输出结果，手动将Pandas列转换为对应类型。特别注意有缺失值的数值列，要用Pandas支持缺失值的 nullable 类型（比如Int64而非普通int64）：

# 示例转换，根据你的实际列名和类型调整
trainDF['user_id'] = trainDF['user_id'].astype('int64')
trainDF['amount'] = trainDF['amount'].astype('float64')
# 针对有大量缺失值的列，用支持NaN的整数类型
trainDF['optional_col'] = trainDF['optional_col'].astype('Int64')
trainDF['description'] = trainDF['description'].astype('string')

方法2：自动推断数值类型（批量处理） #

对于疑似数值型的列，用pd.to_numeric可以自动识别类型，还能处理异常值或缺失值：

import pandas as pd

# 单列处理示例
trainDF['numeric_col'] = pd.to_numeric(trainDF['numeric_col'], errors='coerce')

# 批量遍历所有列，自动转换数值型列
for col in trainDF.columns:
    try:
        # coerce参数会把无法转换的内容转为NaN，适配缺失值场景
        trainDF[col] = pd.to_numeric(trainDF[col], errors='coerce')
    except TypeError:
        # 非数值列（比如字符串）直接跳过
        continue

方法3：专门处理日期/时间列 #

如果你的数据里包含日期格式的列，单独用pd.to_datetime转换更准确：

trainDF['order_date'] = pd.to_datetime(trainDF['order_date'], errors='coerce')

方法4：用字典批量指定类型 #

如果已经明确所有列的目标类型，直接用字典一次性转换更高效：

dtype_map = {
    'col1': 'int64',
    'col2': 'float64',
    'col3': 'string',
    'col4': 'Int64',  # 支持缺失值的整数类型
    'col5': 'datetime64[ns]'
}
trainDF = trainDF.astype(dtype_map)

需要注意的是，那个只有1440条非空数据的列，普通的数值类型（如int64）不支持缺失值，必须用Int64（首字母大写）这种nullable类型，否则要么报错，要么会被自动转为float64类型。

内容的提问来源于stack exchange，提问作者Anantha