如何高效批量转换Pandas DataFrame多列数据类型？

针对你处理Spark转Pandas DataFrame时批量修改列类型的需求，结合50万行、30-40列的数据量场景，以下是具体优化建议：

核心优化方向：优先使用Pandas矢量化操作 #

Pandas的astype本身支持批量对多列进行类型转换，无需通过apply+lambda或逐列循环实现——后者会引入大量Python层面的循环开销，在大数据量下效率极低。

优化后的实现代码 #

def dtypes_preprocess(df):
    cols_cat = ['A', 'B', 'C', 'D','E']
    cols_float = ['F']
    cols_numerical_int32 = ['G', 'H']

    dict_dtypes = {'category': cols_cat, 'float': cols_float, 'int32': cols_numerical_int32}

    for data_type, target_cols in dict_dtypes.items():
        # 利用DataFrame Index的内置交集方法，高效筛选存在的列
        existing_cols = df.columns.intersection(target_cols).tolist()
        if existing_cols:
            # 直接批量转换，无需apply
            df[existing_cols] = df[existing_cols].astype(data_type, errors='ignore')
    
    return df

关键优化点解析 #

• 替换apply+lambda为直接astype：df[existing_cols].astype(...)是Pandas底层矢量化实现，完全避开Python循环，处理速度比apply快数倍。
• 高效筛选存在的列：使用df.columns.intersection(target_cols)（Index对象的内置方法）替代集合交集操作，Pandas对Index的集合操作做了专门优化，比Python原生set操作更高效。
• 空列判断：增加if existing_cols:的判断，避免在无匹配列时执行无效操作，减少不必要的内部计算。

对比原版本的优势 #

1. 对比apply+lambda版本：彻底消除了逐列的lambda调用开销，批量转换利用Pandas的C加速逻辑，处理大数据量时性能提升显著。
2. 对比逐列循环版本：将同类型列的转换合并为一次批量操作，减少了Pandas对DataFrame的多次写入操作（每次列赋值都会触发内部校验），降低了整体开销。

额外性能建议 #

• 若部分列转换时errors='ignore'的场景较多，可提前对列做数据校验，避免无效转换尝试。
• 对于category类型，若后续有大量分组、聚合操作，可考虑指定categories参数（如果已知枚举值），进一步优化内存占用和操作速度。

内容的提问来源于stack exchange，提问作者Juliana