Spark DataFrame列名重命名后不生效，访问数据报错求助

问题核心是Spark的懒执行机制：你循环调用withColumnRenamed后，columns属性显示的是新列名，但底层执行计划仍然保留着对原始含特殊字符列名的引用。当触发show()这类action操作时，Spark会去解析执行计划，碰到原始无效列名就报错。

直接用下面两种方法解决：

方法一：一次性选择所有列并重新别名 #

绕过原始列名的引用，直接通过select结合alias批量处理所有列：

from pyspark.sql import functions as F

# 定义列名清洗函数
def clean_column_name(col):
    return (col.replace(" ", "_")
            .replace("(", "__").replace(")", "__")
            .replace("{", "___").replace("}", "___")
            .replace(",", "____")
            .replace(";", "_____")
            .replace("=", "_"))

# 批量生成别名后的列，构建新DataFrame
cleaned_df = upsertDf.select([F.col(c).alias(clean_column_name(c)) for c in upsertDf.columns])

# 现在执行show()就正常了
cleaned_df.show()
# 验证列名
cleaned_df.columns

这种方式会直接构建新的列引用，彻底脱离原始无效列名的依赖，从根源解决问题。

方法二：读取数据源时直接指定干净列名 #

如果DataFrame是从外部数据源（如CSV、Parquet）读取的，最省心的方式是在读取阶段就避免无效列名：

示例：读取CSV时自定义Schema #

from pyspark.sql.types import StructType, StructField, StringType

# 提前定义好干净的列名和对应数据类型
custom_schema = StructType([
    StructField("col_0", StringType(), nullable=True),
    StructField("col___0__", StringType(), nullable=True),
    StructField("col____0___", StringType(), nullable=True),
    StructField("col__0", StringType(), nullable=True),
    StructField("col_____0", StringType(), nullable=True),
    StructField("col______0", StringType(), nullable=True)
])

# 读取时直接使用自定义Schema
df = spark.read.csv("your_data.csv", schema=custom_schema)

这样读取出来的DataFrame从一开始就用合法列名，后续不会出现任何列名相关的报错。

补充说明 #

之前用withColumnRenamed或单独alias某几列无效，是因为只要执行计划里还残留任意一个原始无效列名的引用，触发action时就会报错。必须一次性处理所有列，确保执行计划中完全没有原始列名的痕迹。

内容的提问来源于stack exchange，提问作者jawsnnn