PySpark修改Parquet文件列名大小写并覆写分区文件

你的代码核心问题是没必要将Spark DataFrame转成Pandas处理，这不仅会引入不必要的索引列（__index_level_0__），还会把分布式数据拉到单机处理，效率极低且容易出错。直接用Spark原生API就能完成需求，以下是修正方案：

修正后的代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取分区Parquet文件，basePath确保分区列被识别为DataFrame字段
df = spark.read.option("basePath", "/mnt/dataops/batchlogs/").parquet("/mnt/dataops/batchlogs")

# 方式1：单独重命名指定列（仅修改EXE_TS为exe_ts）
df = df.withColumnRenamed("EXE_TS", "exe_ts")

# 方式2：批量将所有大写列名转为小写（如果需要全量转换的话）
# df = df.select([col(column).alias(column.lower()) for column in df.columns])

# 覆写原路径，保留分区，使用dynamic模式只覆盖有变化的分区（推荐）
df.write.mode("overwrite")\
    .option("partitionOverwriteMode", "dynamic")\
    .partitionBy("data_as_of_date")\
    .parquet("/mnt/dataops/batchlogs")

关键说明 #

1. 移除Pandas转换步骤：Spark原生API支持列重命名，完全不需要转成Pandas处理，避免了索引列生成和分布式数据本地化的性能损耗。
2. 分区覆写优化：设置partitionOverwriteMode为dynamic，只会覆写数据有变化的分区，而不是删除所有分区后重新写入，大幅提升效率。
3. basePath的作用：确保读取分区文件时，data_as_of_date被识别为DataFrame的列，而非仅作为路径的一部分。

内容的提问来源于stack exchange，提问作者newbie