PySpark保存Parquet至Delta表时遇AnalysisException错误求助

错误本质 #

当执行df.write.saveAsTable("MY_DB.sample")时，Spark会将表元数据写入Hive Metastore（或兼容的元数据库），而Hive对表列名有严格规范：不允许包含空格、斜杠(/)、逗号等特殊字符。你的Parquet文件Schema中存在Sales Channel/test这类含特殊字符的列名，触发了列名校验失败，因此抛出AnalysisException。

CSV处理正常的原因是其原始列名本身无特殊字符，天然符合Hive列名规则，所以写入时未触发校验错误。

解决方法 #

方法1：批量清洗列名（推荐） #

通过正则表达式批量替换所有列名中的特殊字符为合法字符（如下划线_），确保列名仅包含字母、数字和下划线：

import re
from pyspark.sql.functions import col

# 定义列名清洗函数：替换所有非合法字符为下划线，移除首尾下划线
def sanitize_column_name(col_name):
    return re.sub(r'[^a-zA-Z0-9_]', '_', col_name).strip('_')

# 对DataFrame的列进行重命名
cleaned_df = df.select([col(c).alias(sanitize_column_name(c)) for c in df.columns])

# 写入目标表
cleaned_df.write.saveAsTable("MY_DB.sample")

示例中Sales Channel/test会被转换为Sales_Channel_test，完全符合Hive列名规范。

方法2：手动指定列名（适合列数较少的场景） #

如果列数量不多，可以直接手动指定新的合法列名：

# 按原列顺序指定新列名
cleaned_df = df.toDF(
    "sales_channel_test",
    "product_id",
    "order_amount"
)
cleaned_df.write.saveAsTable("MY_DB.sample")

方法3：保留原列名（不推荐） #

若必须保留原列名，需开启Spark的宽松列名解析模式，但后续SQL查询时必须用反引号(`)包裹列名，使用成本较高：

# 开启宽松列名解析
spark.conf.set("spark.sql.parser.quotedRegexColumnNames", "true")

# 写入时需确保表已存在或允许特殊列名（部分Metastore版本可能不支持）
df.write.saveAsTable("MY_DB.sample", mode="overwrite")

查询示例：

SELECT `Sales Channel/test` FROM MY_DB.sample;

内容的提问来源于stack exchange，提问作者sajjad ahmad