PySpark重命名含非法字符列后仍报AnalysisException错误的解决办法

核心原因 #

Spark的DataFrame采用惰性求值机制，单纯的重命名操作可能仅停留在逻辑执行计划层面，实际触发head()、show()这类action时，仍会尝试读取原Parquet文件中含非法字符的列名，导致报错。此外，直接使用withColumnRenamed或select+alias可能因计划优化逻辑，未彻底替换原列名的底层引用。

有效解决方案 #

方案1：读取时直接指定Schema（最彻底） #

提前定义含合法列名的Schema，读取Parquet时直接将原非法列名映射为合法名称，从根源规避问题：

from pyspark.sql.types import StructType, StructField, StringType, DoubleType, DateType

# 根据实际字段类型调整对应类型
custom_schema = StructType([
    StructField("Region", StringType(), nullable=True),
    StructField("Date", DateType(), nullable=True),
    StructField("OnOff_Peak", StringType(), nullable=True),  # 替换原"OnOff Peak"列名
    StructField("Hourbegin", StringType(), nullable=True),
    StructField("Hourend", StringType(), nullable=True),
    StructField("Inflation", DoubleType(), nullable=True),
    StructField("Price_Type", StringType(), nullable=True),
    StructField("Reference_Year", StringType(), nullable=True),
    StructField("Area", StringType(), nullable=True),
    StructField("Price", DoubleType(), nullable=True),
    StructField("Case", StringType(), nullable=True)
])

# 用自定义Schema读取Parquet文件
df = spark.read.schema(custom_schema).parquet('abfss://myblob.dfs.core.windows.net/somedir')

方案2：使用selectExpr强制重命名并固化计划 #

利用selectExpr明确指定重命名规则，同时触发轻量action（如count()）让Spark执行逻辑计划，彻底固化列名修改：

df = spark.read.parquet('abfss://myblob.dfs.core.windows.net/somedir') \
    .selectExpr(
        "Region",
        "Date",
        "`OnOff Peak` as OnOff_Peak",  # 用反引号包裹原含空格的列名
        "Hourbegin",
        "Hourend",
        "Inflation",
        "Price_Type",
        "Reference_Year",
        "Area",
        "Price",
        "Case"
    )

# 触发action固化列名，避免后续执行时回溯原非法列名
df.count()

方案3：临时表中转消除原列引用 #

将原始DataFrame注册为临时视图，通过SQL语句重命名列，这种方式能彻底切断对原非法列名的底层引用：

# 读取原始Parquet数据
raw_df = spark.read.parquet('abfss://myblob.dfs.core.windows.net/somedir')
# 注册为临时视图
raw_df.createOrReplaceTempView("temp_raw_data")

# 通过SQL语句完成重命名
df = spark.sql("""
    SELECT 
        Region,
        Date,
        `OnOff Peak` AS OnOff_Peak,
        Hourbegin,
        Hourend,
        Inflation,
        Price_Type,
        Reference_Year,
        Area,
        Price,
        Case
    FROM temp_raw_data
""")

验证步骤 #

执行任一方案后，先调用df.columns确认列名已替换为OnOff_Peak，再执行df.head()或df.show()即可正常输出数据。

内容的提问来源于stack exchange，提问作者Dean MacGregor